Differences

This shows you the differences between two versions of the page.

--- events:34c3:nachbereitung [2018/01/24 13:18] – created atze
+++ events:34c3:nachbereitung [2018/01/24 14:05] (current) – [Aufbau] atze
@@ Line 5: / Line 5: @@
 == Protokoll "große" Mumble-Runden
-=== Protokoll
+=== Persönliches Feedback
-==== Persönliches Feedback
   * andi: Tag 0, 1 und 2 waren für mich sehr anstregend. Da hat mir der Congress davor (33C3 im CCH) wesentlich besser gefallen
@@ Line 108: / Line 106: @@
     * gutes engel-management von alex
-==== Aufbau
+=== Aufbau
+  * Netzwerk:
+  * Leider ist von der VOC-Netzwerkgruppe niemand direkt im Mumble
+  * Netzwerk funktionierte erst an Tag 0 Abends
+    * andere Teams mussten gefühlt ewig warten, bis sie weiter machen konnten
+    * Bug im Switch, der erst durch die finale Konfiguration aufgefallen ist
+  * VOC VLAN in der Assembly erst an Tag 2 (siehe unten)
+    * Auf Voctomix-Rechner im Ü-Wagen war kein Deployment gefahren
+  * Kommunikation mit NOC
+  * Wenn man wieder selbst macht:
+    * Mehr Netzwerkplanung im Vorfeld
+    * Layer 1 as a Service durch NOC?
+    * Netzwerk sollte an Tag –2 stehen.
+    * Verzögerungen u.a. durch unbekannte Details der Location, sollte beim nächsten Mal nicht auftreten
+    * Colo location bei Begehung festlegen
+  * Aufwand grob:
+    * Patches Hallen-VOC 3 Pers. x 3h
+    * weitere Kabelage paar Stunden
+  * Wieder selber machen?
+    * Pro:
+     * weniger Ping-Pong mit dem NOC notwendig
+     * Selbst Kontrolle über alles zu haben ist schon cool
+    * Con:
+     * ist es den Aufwand wert?
+    * Fazit: Wenn wir das Setup vom 34c3 1:1 nachbauen koennen spricht nichts dagegen, sonst eher wieder auf NOC-Infrastruktur verlassen -- florolf
+  * Switch Konfigs wurden im Wiki hinterlegt.
+    * Wenn wir in Leipzig sind, [und die gleiche Hardware haben]
+  * Netzwerk Audio-Regie war mit 2x 1GE teilweise zu dünn
+  * Video over Darkfiber zur ACR
+  * Audio
+    * Es wurde dem Rest vom VOC erst zu spät klar wie das ACR Setup tatsächlich funktioniert.
+    * "Was ist das Control-VLAN und wofür braucht man das?"
+  * Assembly
+    * VOC VLAN war erst Tag 2 da, Voctomix wurde (erstmals dieses Jahr) ab Tag1 11.00 benötigt
+  * Wenn neue Setups: (egal ob Netzwerk oder Audio)
+    * Mehr Zusammenfassungen bzw. Übersichts-Doku von dem was man jetzt Tatsächlich macht im Wiki oder auf der Mailingliste
+  * Strom:
+    * Bestellung ist nicht bei Fengel angekommen
+    * Fengel's Mail dazu kam Ende Oktober auf video@ an Betreff "Strombedarf der Teams"
+    * Zu dem Zeitpunkt war genauer Strombedarf noch nicht 100% klar
+    * Messe teilweise überlastet, im Gegensatz zu Hamburg nicht doppelt besetzt?
+    * Grundproblem aber bei uns und der Zwischen-Team-Kommunikation
+  * Podeste kamen im Saal C erst sehr spät an
+    * waren bestellt.
+    * Podeste für Kamera und Engel ggf. gleich hoch damit die Engel nicht aufs Kamera Poddest steigen müssen?
+    * In Saal D waren sie gleich hoch und hatten anfangs direkten Kontakt!. Kleinere Engel sind auf's Kamerapodest, weil die Stative zu hoch und zu breit waren.Kamera-Sollhöhe in die Aufbau-Checkliste ? Höhere Podeste ? Saal D wackelt immer etwas wegen Schwingboden.  Näher ran an die Bühne?
+  * AV Spezifikation immer als Plan (mit Beschriftung der Kabelwege) abgeben, nicht als Text
+    * Problem war: Kabel ImagePro -> Quellenumschalter war erst per SDI gelegt worden, und musste dann später auf DVI umgestellt werden
+      * Sind davon ausgegangen das wir den SDI Ausgang vom Image Pro und nicht vom Quellenumschalter haben wollen.
+  * Backup-Devices
+    * Uhrzeit beim Hyperdesk & co. einstellen! [->checkliste]
+    * Audio-Backups zusätzlich geschnipselt per Netzwerk mitschneiden?
+      * Audio Backup im Saal und zusätzlich per Netzwerk irgendwo hinschubsen (Geht auch parallel an mehreren Orten mit Dante)
+    * An den Kameras war der Gain nicht eingepegelt. 2,Kanal sollte int.Mic aufzeichenen(Sollte es?) (so war es zumindest in einem Mumble besprochen, ich hatte angeboten Keule Richtung Saal PA mit zu bringen.... die internen Mics wurden für gut genug befunden ;) -Erinnere ich grad nicht, kann aber sein. Halte ich aber für diskussionswürdig. Ich auch, liegt deutlich außerhalb des Hallradius
+    * => Gain einpegeln in die Aufbaucheckliste (siehe unten)
+  * Der Saalaufbau endet erst nach dem Soundcheck incl Synctest
+  * Erstmals Voctomix überall
+    * Probleme:
+      * Slides aus dem Quellenumschalter (Folson
+      * Cameras waren von der Auflösung/Framerate nicht richtig eingestellt
+    * Übergabe zwischen AV Team und Softwareleuten suboptimal
+      * Papier-Formular auslegen in das man die Auflösungen einträgt?
+        * Kabelplan und Formate für AV-Crew anlegen
+      * AV-Crew soll "fertig"-Signal an Software-Crew übermitteln, ggf. dann Deployment direkt im Sall-Netz
+    * Neuentwicklung von Mazdermind: Decklink Debugger mit WebUI, mit dem AV Aufbauleute z.B. auch per WLAN auf Tablet/Laptop im Browser testen können
+    * Diagnose ohne Netzwerk an Tag -1 / 0 schwierig. Netzwerk sollte an Tag -1 da sein
+    * Keine Annahmen über die Funktionalität treffen (aka wird Hardware lösen oder aka ist ein Problem der Software) -> Messen und mit Anforderungen vergleichen
+  * Kommunikation
+    * Interkom das nächste Mal auch zum Aufbau
+    * Telefon 1600 war nicht deployed
+      * POC war abbestellt, da eigene SIP-Phones zum Einsatz kommen sollten (failed)
+      * nächstes Mal zur Sicherheit auch wieder eine Nebenstelle (1601) beim POC bestellt.
+      * 1600 als Gruppe mit 1601 + 1602, 1603
+    * mglw. über "neue" Interkom-Lösung mit abfackeln
+      * 1600 als Schnittstelle nach außen ist immer Notwendig
+    * entscheidung gegen mitte des jahres bzg. interkom-lösung
+      * (und Bitte von ROC: wenn eigene repaeterkanaele etc möglichst bis oktober)
+TODO [[:checkliste]] für Congress kopieren und erweitern
+Danimo legt congress-checkliste an, danach alle ihre Punkte mit eintragen.
+-> [[:congress-checkliste]]
+    * Mehr Tische und Stühle für VOC Büro bestellen
+=== Video
+  * Flackern in Kameras in Saal A
+    * Aktuell weiterhin unklar Software oder Kabellängen Problem
+  * Kamera Einstellungen
+    * Totale in Saal A war mehr oder weniger ganzzeitig überbelichtet
+    * Alle Kameras waren regelmäßig unscharf.
+      * Schalten Videoengel selbst den Autofokus ein oder stellen Dinge um?
+      * Video-Mischer-Engel braucht externen Full-HD Monitor auf dem er auch unscharfes Video besser erkennen kann.
+        * Die Aufteilung dazu muss im Kontext der Mischersoftware festgelegt/ausprobiert werden
+        * Externer Monitor bei den man Programm, Preview und einzelne Quellen auswählen kann
+        * TODO Freiwillige: Pull-Request für voctomix
+      * Stream-Beobachter Notebooks hatten kein Full-HD und hatten den Auftrag Bild-Komposition zu bewerten
+    * Gemeinsame platzierung der Kameras wurde teilweise als problematisch wahrgenommen
+      * zum einen wegen der wackelnden Podesten
+      * zum anderen bei zwei Speakern die ungünstig auf der Bühne standen, zB http://pi.c.de1.cc/index.php/34c3/34c3-AVtraining/34x3-9194_2m32s_Neuland-AlleSpeaker-_opti2Crop_2
+    * Hand-/Zusatzkamera war gefühlt immer etwas spontan, zusätzliche Kameraengel einplanen
+      * wenn rechtzeitig angefordert, wurde das eingeplant
+  * Blackmagic Audioembeder
+    * haben hinter Quellenumschalter () Probleme gemacht.
+    * obskur++: Plura mochte Signal nicht, hyperdeck schon, .... o-O
+  * wurden deswegen in Kamera-Weg umgebaut
+    * Failten da im langen Kamera-Weg, wurden daraufhin auf kürzeren Kameraweg umgebaut und taten dann okay
+  * AJA Embedder in den anderen Sälen haben keine Probleme gemacht
+    * Kabellänge egal, da im Slide-Weg
+  * Handkameras/Spezialanforderungen
+    * Extra Kameraengel mit Interkom-Beltback mit im Engelsystem mit eintragen
+    * Ggf. auch noch extra Person die ImagePro/Quellenauswahl umschaltet
+=== Audio
+  * Probleme mit der Videoübertragung zur zentralen Audio Regie.
+    * Latenz des Videoübertragung (Stream aus dem Voctomix der per mpv wiedergegeben wurde)
+    * Reaktionszeit der Audiomischer zu langsam, da er erst hören musste, dass jemand anderes spricht, bevor er reagieren konnte -> Speaker am Anfang nicht zu hören
+    * Es sollten genug Glasfasern im Komplex sein (die zumindest in der Nähe der ACR enden) um Video-over-Fibre-Lösungen zu verwenden
+  * Audioprobleme haben sich von Saal zu Saal verbereitet...?
+  * Bei vier Talks (einer pro Saal) überlagert sich das Audio kurz
+    * Tag 4, Saal A, 12:15 – 8614 Frag den Staat den Talk (in der Mitte mit Einblendung) https://media.ccc.de/v/34c3-8714-schreibtisch-hooligans#t=882 (Dort ist es nicht gefixt, aber mit Einblendung im Video)
+    * ToDo Helena: Im Backup suchen
+	* Tag 4, Saal A, 13:00 –  8831 TrustZone is not enough https://media.ccc.de/v/34c3-8831-trustzone_is_not_enough Audio was broken between 4m30s and 5m15s (hier ist es gefixt)
+  * Ungetestete Stückelung von verschiedner Hardware ist meh und ist wie damals "jemand hat eine alte Grabberkarte"
+  * Das Stückel-Setup ist leider fehleranfällig und kostet viel energie die man besser brauchen können würde
+  * Entscheidung: Wenn man es gut machen will, kostet es Geld ansonsten reibt es Menschen auf
+  * Summen vs Einzelsignale [[events:34c3:audio#backup_audio]]
+  * Atmo Mikro war neu und gut, auch wenn mit ggf. ungewohnten, zusätzlichem Hall, der auch mal kam und ging - zB Infrastructure Review 2:10-4:20
+  * Von den Camera SD-Karten wurde nur Video und kein Audio recovered.
+=== CDN/Live-Streaming, OP
+  * Tag 0 war eigentlich nur Deploy
+    * Begann erst Nachmittag, nach Netz fertig (siehe oben bei Aufbau)
+  * Transcoding deutlich besser
+    * Einheitlich als Systemd-Services umgesetzt
+    * höhere Wartbarkeit
+    * höhere Qualität durch Überarbeitung der FFmpeg-Settings
+  * FFmpeg HLS-Muxer braucht noch Arbeit
+    * kaputte Subformate sind erst an Tag 2 aufgefallen
+  * Hardwareprobleme
+    * Ausfall von dellinger
+      * erst LB-RAM vollgelaufen, dadurch qemu gekillt
+      * danach ist die box komplett eingefroren
+    * Ausfall von minion6, Lüfterlager kaputt
+      * erst spät bemerkt, Check-Skript dahingehend erweitert
+  * DASH + Adaptives HLS als Default ab  Tag2 (Tag 1 war noch normales WebM/HLS)
+    * Keine vermehrten Beschwerden soweit
+  * ab Tag 3 VP9 im DASH
+    * cpu-verbrauch ähnlich wie VP8
+    * smoothere rate-control
+    * deutlich bessere Qualität
+    * dazu jetzt Opus als Audio, da standardisiert für VP9 (z.B. required in Edge)
+  * Transcoding-Lasttests im Vorfeld -> stabilere Transcodings
+  * Keine komischen Icecast-Probleme (yay Updates)
+  * Neuer Adaptive-HLS/-DASH-player
+    * Browser-detection-tuning auf dem congress
+    * grundsaetzliche tendenz: leute mehr auf segmented streaming pushen fuer mehr stabilität
+  * Hetzner einzige (public erreichbare) externe Boxen
+    * S11 nur als Verteiler für Hetzner-Boxen
+    * wieder Rechnung bekommen, noch Gerenne hinterher, Aufwand lohnt sich nicht
+    * für Relays nächstes Jahr von extern absehen
+    * Ausbau eigener Infra ist noch absehbar
+  * alle jahre wieder: weiße seiten in der streaming-webseite
+    * nur sehr sporadisch
+    * ursache nach wie vor unklar
+  * relive-abfuck gegen Ende
+    * kein Update der Streamingwebseite mehr weil live.lan abgeschaltet wurde
+    * daraus haben sich die Talks, die schon released, wurden nicht aktualisiert hatten
+    * muxed.mp4 und auch der rest wurde auf den edge-Relays nur gecached und master war live.lan
+    * Idee fuer naechstes jahr: Relive weiter rausschieben (AK?) um das live.lan-problem nicht zu haben
+  * Cache-Abfuck auf den Edge-Relays Aufgrund von zu wenig Festplattenplatz
+    * stellenweise nur 20GB - root
+    * Standard-Cache-Config hat 100GB eingetragen
+    * eventuell wieder nur einen Relive-Edge hinstellen
+    * loadbalancer-Config geradeziehen
+  * externe Streams lief erst ab Tag-2
+    * Transcoding dafür war nicht fertig
+    * Server musste noch aufgesetzt werden
+    * könnte mehr Liebe gebrauchen mit dedizierter Hardware
+Doku: [[cdn]]
+    * Monitoring
+      * wenig Vorbereitung weil wenig Änderungen im Feature-Set und daher schnell aufsetzbar
+      * man hört immer mal wieder Pläne für neu&besser[tm]
+      * passt für congress so wie es ist, aber übers Jahr kann da mehr passieren
+=== Postprocessing, QA
+  * Talks nach Release verzerrt:
+    * im Master-Encoding-Profil war ein volume*=1.9 eingebaut, wegen Mix-Element in Filterchain
+    * wegen wenig Volume in voctomix (durch Mixelement) kam dann noch ein loudnorm (auf -16  LUFS) dazu, das allerdings vor das volume-filterelement gesetzt wurde
+    * dadurch digitales Clipping in nahezu allen (nicht reparierten) Talks
+    * Problem für Rerelease:
+      * viele  reparierte Talks (getauschte Audiospuren (Zuordnung Übersetzer),  ersetztes Audio (diese Talks sind nicht betroffen und sollten nicht aus  Quellmaterial enkodiert werden))
+    * es gibt inzwischen eine Repairliste
+      * Entscheidung über Reparatur später
+      * Lessons learned: Tool-Unterstützung für QC/QA ist erstrebenswert, es gibt einige Ideen
+  * Intro/Outro Alpha-Blending am Ende/Anfang als neuerung in Encoding Profil (siehe [[https://tracker.c3voc.de/encoding/profile/30/versions]])
+    * TODO: Audioprofile müssen Intro korrekt abschneiden
+  * Schnittmarken: Infobeamer manchmal am Anfang kurz zu sehen
+    * Infobeamer war teilweise in finalen Recording sichbar, weil erst während der Herald spricht von Infobeamer auf Slides umgeschaltet wurde
+	* das umschalten war allerdings systematisch und nicht zufällig (es gab eine Art Translation-Slide mit Infos für Herald und Publikum)
+  * Plan für 2018: Für Checking in die Tool-Kiste greifen um zu Checking-Prozess zu Unterstützung
+    * Waveform generieren
+    * Brightness-Check, Loudness-Check
+    * etc. pp.
+	* Interessierte willkommen
+=== Releasing / Media
+  * lief ziemlich gut an, trotz Slide-Videospur und viele Sprachen
+  * Kodi, VLC (und potentiell mehr) haben Probleme per continues Download HTTP Files mit mehr als einer Videospur abzuspielen (lokal geht)
+  * VP9 by Accident für Slides-Track im WebM Release
+  * Zukunft: Dash für Releases?
+    * Vorteil: Format-Fasching für Web-Player wird reduziert
+    * Adaptive Rate Playback, potentiell besseres seeken
+  * Shotdetect für Slides wurde gemacht, Resultatdatei muss wieder rausgesucht werden (UPDATE: liegt auf Storage in /video/tmp/...)
+=== Engel
+  * Ansprechperson für Stream Beobachter im Schichtbetrieb (A/V Technican Schicht)
+  * Engelschulung/Hands-on-Schulung war sehr gut
+  * abendliche Feedbackrunde war produktiv und ergab brauchbare Resultate
+  * es gibt für den Engelschulungs-Vortrag eine Bug-Liste, da dürfen gene noch Sachen rein https://github.com/benjaminwand/Engelschulung/blob/master/lessons%20learnt.md bedenkt jedoch dass wir schon sehr lange vorgetragen haben, also lange liste feature wünsche geht nicht
+  * einen funktionierenden Saal Tag0 Abends zu haben wäre extrem praktisch für die Schulung
+  * Ansprechpartner für Streambeobachter (siehe auch Kommunikation)
+  * Raumanmeldung für Review-Session hat nicht geklappt
+Logs Streamobserver: [[events:34c3:streamobserving]]
+  * Feedback zum neuen Voctomix GUI ist im Pad: [[https://video.pads.ccc.de/34c3-postmortem]] Zeile 149ff.
+  * Weiteres Feedback zu Kamera & Mischer Engel konkret Talkbezogen [[https://pads.ccc.de/streamObserver34C3-ReviewClips]]
+=== Abbau
+  * Lief strukturiert ab, außer Chaos in Saal 1 durch fehlen bedingt durch Krankheit.
+  * Konzept: Saal / Infra trennen soweit sinnvoll. "Berlinpalette" mit Netzwerk zentral packen. Schein sich soweit bewährt zu haben
+  * Paletten möglichst an Tag4 schon an den nötigen Ort bringen
+    * In Abbau Ablaufplan mit einbauen (Pad)
+  * Hubwagen rechtzeitig aquirieren
+  * Arbeitsbühne für Abbau Atmo explizit 'bestellen', so das die Hallenmeister auch bescheid wissen
+  * Für Zeit des Abbaus lokaler Mirror der Talks für Leute vor Ort die bis 4./5. Januar (wenn der erste 40 Tonner ins Lager fährt – minus einen Tag) da sind
+  * VOC Bereich im LOC Absperren (ROT/WEISS Band) um "Materialverlust durch versehendliches ausleihen" verhindern.
+  * Klebereste von Kabeln bitte entfernen
+  * Pakete direkt vom Veranstaltungsort verschicken anstatt von Ilmenau
+=== Sonstiges
+  * Helpdesk wurde physikalisch nicht eingerichtet
+    * Telefon war nicht da
+    * Tisch war nicht da -> Beim Aufbau Tisch am Eingang mit aufbauen.
+  * Helpdesk-Person: Dispatchen von Kommunikation und weitergeben. Ist uns dieses Jahr massiv auf die Füsse gefallen
+  * Kommunikationswege
+  * Streambeobachter sollen wieder A/V Technicans kontaktieren dürfen. Gleicher Kanal wie Rest (Riedel)
+    * Trotzdem/zusätzlich fester Ansprechpartner im VOC (räumlich)
+  * Dem Content-Team nochmal nachträglich klar machen,
+    * dass wir auch bei Überraschungstalks früh genug über Sonderanforderungen informiert werden müssen (z.B. 34c3: Snowden-Talk)
+    * dass "double features" ne ziemlich blöde Sache u.a. für Postprocessing sind
+  * Wer soll alles ins Intercom rein
+    * Saal: Mixer/Kamera/AV-Technican/FOH ggf. Stagemanager + Weitere Gruppen?
+    * Wuppertaler Kontakt
+    * Bis Mitte des Jahres klären (auch wg Funk bzg. Planung ROC)
+  * Informationen in vielen verschiedenen Medien, gerade in der Phase der Vorbereitung (Mail(listen), IRC, Pads, Wiki...): möglichst auf wenige Kanäle bündeln
+=== Meta
+  * Wichtige Informationen an einem Punkt
+  * ggf für den 35C3 erst Subteam-Mumbles (A/V, Engel, etc) für Detailfeedback, und danach erst das Allgemeine Review Mumble