Vertex Transcribe Service
Fallübersicht
Eine KI-gestützte Medienverarbeitungsplattform, die entwickelt wurde, um Millionen von Minuten an Audio- und Videoinhalten zu verarbeiten. Sie nimmt Aufzeichnungen von Bildungs-Vorlesungen – in Aramäisch und Englisch – und verwandelt sie in sauberen, formatierten Text mit korrektem Skript, Diakritika, überprüften Quellenangaben und zeitlich abgestimmten Untertiteln. Wenn eine Videodatei eintrifft, erkennt das System diese automatisch, extrahiert die Audiospur und leitet sie durch dieselbe Transkription-Pipeline.
Ziel: Eine Medienpipeline bauen, die in der Lage ist, Millionen von Minuten an Inhalten zu verarbeiten und veröffentlichungsfertigen Text, Untertitel und HLS-Streams mit möglichst wenig manuellem Aufwand zu liefern. Sowohl Audio als auch Video durch eine einzige Pipeline verarbeiten, mehrsprachige Inhalte mit hoher Genauigkeit transkribieren und dynamisch auf Kubernetes skalieren, um Chargen von über 300 gleichzeitigen Aufnahmen zu bewältigen.
Wichtige Projektinformationen
Branchen
Plattformen für Bildungsinhalte, religiöse Institutionen, Medienverlage, E-Learning-Unternehmen, Vorlesungsarchive, akademische Inhaltsbibliotheken.
Dienstleistungen
KI-Transkription, Videoverarbeitung, Audioextraktion, HLS Multi-Bitrate-Codierung, Untertitelgenerierung, Batch-Orchestrierung, Überprüfung von Quellenangaben, Cloud-Speicherbereitstellung, Thumbnail- und Vorschau-Erstellung.
Lösungen
Einheitliche Audio-/Video-Pipeline, automatische Format-Erkennung, mehrsprachige Transkription, Skriptumwandlung mit Diakritika, stummschaltungsbasierte Aufteilung, Zeitstempelzusammenführung, Überprüfung religiöser Quellen, dynamische Auswahl von KI-Modellen.
Technologien
Python, FastAPI, Google Vertex AI, Gemini Pro, Gemini Flash, Gemini Flash-Lite, FFmpeg, FFprobe, AWS S3, Google Cloud Storage, Kubernetes, Helm, Docker, ARM-Instanzen, HLS (m3u8), Async Python, Connection Pooling, CI/CD-Pipeline.
Die Herausforderungen
Komplexität der Mischsprache
Audio wechselt mitten in der Aufnahme zwischen Aramäisch, Englisch und anderen Sprachen. Spezielle KI-Steuerung und mehrstufige Textverarbeitung waren notwendig, um durchgehend korrekte Diakritika und Formatierung anzuwenden.
Video & Audio in einer Pipeline
Das System musste sowohl reine Audio- als auch Video-Container verarbeiten. Die FFprobe-basierte automatische Erkennung extrahiert die Audiospur aus jedem Videoformat vor der Verarbeitung – ohne Benutzereingriff.
Skalierung für Millionen von Minuten
Von Grund auf für großes Volumen entwickelt: voll asynchron, parallelisiert und Kubernetes-native mit ordentlichem Ressourcenmanagement, um Spitzen bei der Batch-Auslastung abzufangen.
Intelligente Aufteilung langer Vorlesungs-Audioaufnahmen
Vorlesungen überschreiten oft eine Stunde. Die Aufteilung an Stillepunkten erfolgt natürlich, während die Zeitstempelzusammenführung eine nahtlose, durchgehende Zeitlinie ohne Lücken oder Überlappungen rekonstruiert.
Smart Retry-System für KI-Arbeitslasten
Hunderte gleichzeitige KI-Jobs belasten die Anbietergrenzen stark. Intelligente Wiederholungslogik, adaptive exponentielle Rückoff-Verfahren und Warteschlangenmanagement halten die Pipeline am Laufen ohne verlorene Jobs.
KI-Modellauswahl für Kosteneffizienz
Drei KI-Modellstufen – leistungsstark, schnell und leichtgewichtig – werden dynamisch basierend auf Inhaltslänge und Komplexität ausgewählt und liefern bis zu 60 % niedrigere API-Kosten bei kürzeren Inhalten.
Der Prozess
Jede Datei – egal ob rohe Audio-Vorlesung oder vollständige Videoaufnahme – durchläuft eine einzige automatisierte Pipeline. Acht aufeinanderfolgende Stufen führen sie vom Rohinput zum veröffentlichungsfertigen Output, wobei die Videoverarbeitung parallel läuft, sodass nichts auf etwas anderes warten muss.
Medienerkennung & Vorbereitung
FFprobe erkennt, ob die Datei Audio oder Video ist. Beim Video wird die Audiospur automatisch extrahiert. Dauer- und Format-Analyse bestimmen dann die Verarbeitungsstrategie.
Stille-basierte Audio-Aufteilung
Dateien, die länger als 20 Minuten sind, werden an natürlichen Stillepunkten in Abschnitte geteilt, damit kein Satz mitten im Satz abgeschnitten wird, was eine parallele Transkription aller Teile gleichzeitig ermöglicht.
KI-Transkription
Jeder Abschnitt wird an Gemini Pro oder Flash geschickt – je nach Inhaltslänge ausgewählt – mit einem strukturierten Schema, das das Modell zwingt, zeitmarkierten Text mit Sprecherkennzeichnung zurückzugeben.
Zeitachsen-Zusammenführung
Alle transkribierten Teile werden mit korrekten Zeitversätzen zu einem nahtlosen Dokument zusammengefügt, mit 99 % genauer Zeitstempel-Übereinstimmung über die gesamte Aufnahme.
Textnachbearbeitung
Die rohe Transkription durchläuft Skriptkonvertierung, Anwendung von Diakritika, Formatierungsbereinigung und Überprüfung religiöser Quellenangaben gegen eine externe Datenbank.
Videoverarbeitung (parallel)
Während die Transkription läuft, bearbeitet das Videomodul HLS Multi-Bitrate-Codierung, Thumbnail-Erstellung, Vorschauclip-Erzeugung und Mehr-Audio-Stream-Verarbeitung via FFmpeg.
Untertitel- & Zusammenfassungsgenerierung
Aus dem finalen verifizierten Text werden zeitlich abgestimmte Untertiteldateien (.vtt / .srt) generiert, zusammen mit einer automatischen Metadaten-Zusammenfassung für die Inhaltsbibliothek.
Cloud-Bereitstellung
Alles – Transkription, Untertitel, Zusammenfassung, HLS-Streams – wird auf AWS S3 hochgeladen und Links an das Content-Team geliefert. 100 % Datenaufbewahrung auch bei Verbindungsabbrüchen.
Lösungen
Die Hauptmerkmale der Lösung
Einheitliche Audio- & Video-Pipeline — FFprobe erkennt Formate automatisch. Ein einzelner Einstiegspunkt verarbeitet MP4, MKV, WebM, MOV und Audio ohne manuelle Konvertierung.
Mehrsprachige KI-Transkription — Unterstützt Englisch, Aramäisch und mehrsprachige Aufnahmen mit Aufforderungen, die Sprachgrenzen bewahren und korrekte Schriftsystemkonventionen anwenden.
Dynamische Auswahl des KI-Modells — Pro-, Flash- und Flash-Lite-Stufen werden automatisch nach Dateilänge und Inhaltstyp ausgewählt — für maximale Genauigkeit bei minimalen API-Kosten.
HLS Multi-Bitrate Streaming — Parallele Videoverarbeitung erzeugt adaptive Bitratenströme, Thumbnails und Vorscha Clips, bereit für jeden modernen Videoplayer.
300+ gleichzeitige Batch-Jobs — Kubernetes-native asynchrone Architektur verarbeitet große Chargen ohne Blockierung. Helm-Charts verwalten Deployment und Skalierung auf ARM-Instanzen.
Ergebnisse in Zahlen
99%
Genauigkeit für englischen und aramäischen Audioinhalt mit automatisch angewendeter korrekter Schrift und Diakritika.
300+
Transkriptionsjobs werden gleichzeitig mit intelligenter Warteschlangenverwaltung und adaptivem Backoff verarbeitet.
60%
Einsparungen durch dynamische Modellauswahl — leichtere Modelle verarbeiten kürzere Inhalte automatisch.
100%
Kein Datenverlust auch bei Verbindungsabbrüchen, mit automatischer Synchronisierung bei Wiederherstellung der Verbindung.
