Vertex Transcribe Service
Fallübersicht
Eine KI-gestützte Medienverarbeitungsplattform, die für die Verarbeitung von Millionen von Minuten Audio- und Videoinhalten konzipiert wurde. Sie nimmt Aufnahmen von Bildungs-Vorlesungen in Aramäisch und Englisch auf und verwandelt sie in sauberen, formatierten Text mit korrektem Skript, Diakritika, verifizierten Quellen und zeitlich abgestimmten Untertiteln. Wenn eine Videodatei ankommt, erkennt das System sie automatisch, extrahiert die Audiospur und leitet sie durch dieselbe Transkriptions-Pipeline.
Ziel: Aufbau einer Medienpipeline, die in der Lage ist, Millionen von Minuten Inhalt zu verarbeiten und veröffentlichungsfertigen Text, Untertitel und HLS-Streams mit so wenig manueller Arbeit wie möglich bereitzustellen. Sowohl Audio als auch Video über eine einzige Pipeline zu verarbeiten, mehrsprachige Inhalte mit hoher Genauigkeit zu transkribieren und dynamisch auf Kubernetes zu skalieren, um Chargen von über 300 gleichzeitigen Aufnahmen zu bewältigen.
Wichtige Projektinformationen
Branchen
Plattformen für Bildungsinhalte, religiöse Institutionen, Medienverlage, E-Learning-Unternehmen, Vorlesungsarchive, akademische Inhaltsbibliotheken.
Dienstleistungen
KI-Transkription, Videoverarbeitung, Audioextraktion, HLS-Multi-Bitrate-Codierung, Untertitelgenerierung, Chargen-Orchestrierung, Verifizierung von Quellenreferenzen, Bereitstellung in der Cloud-Speicherung, Thumbnail- & Vorschau-Generierung.
Lösungen
Einheitliche Audio-/Video-Pipeline, automatische Formaterkennung, mehrsprachige Transkription, Skriptumwandlung mit Diakritika, auf Stille basierende Aufteilung, Zeitstempel-Zusammenführung, Überprüfung religiöser Referenzen, dynamische KI-Modell-Auswahl.
Technologien
Python, FastAPI, Google Vertex AI, Gemini Pro, Gemini Flash, Gemini Flash-Lite, FFmpeg, FFprobe, AWS S3, Google Cloud Storage, Kubernetes, Helm, Docker, ARM-Instanzen, HLS (m3u8), Async Python, Connection Pooling, CI/CD-Pipeline.
Die Herausforderungen
Komplexität der Mischsprache
Das Audio wechselt während der Aufnahme zwischen Aramäisch, Englisch und anderen Sprachen. Spezielle KI-Aufforderungen und mehrstufige Textverarbeitung waren nötig, um korrekte Diakritika und Formatierungen konsequent anzuwenden.
Video & Audio in einer Pipeline
Das System musste sowohl reine Audiodateien als auch Video-Container verarbeiten. Die FFprobe-basierte automatische Erkennung extrahiert den Audiostream aus jedem Videoformat vor der Verarbeitung – ohne Benutzereingriff.
Skalierung für Millionen von Minuten
Von Grund auf für großes Volumen ausgelegt: vollständig asynchron, parallelisiert und Kubernetes-native mit ordnungsgemäßem Ressourcenmanagement, um Lastspitzen bei Chargenaufträgen aufzufangen.
Intelligente Aufteilung langer Vorlesungsaufnahmen
Vorlesungen dauern oft länger als eine Stunde. Die Aufteilung an Stillepunkten teilt Dateien natürlich, während die Zeitstempel-Zusammenführung eine nahtlose durchgehende Zeitleiste ohne Lücken oder Überlappungen rekonstruiert.
Intelligentes Wiederholsystem für KI-Arbeitslasten
Hunderte gleichzeitige KI-Jobs beanspruchen die Provider-Grenzen stark. Intelligente Wiederhollogik, adaptive exponentielle Rückoff-Strategie und Warteschlangenverwaltung halten die Pipeline in Bewegung ohne verlorene Jobs.
KI-Modellauswahl zur Kosteneffizienz
Drei KI-Modellstufen – leistungsstark, schnell und leichtgewichtig – werden dynamisch basierend auf Inhaltslänge und Komplexität ausgewählt und liefern bis zu 60 % geringere API-Kosten bei kürzeren Inhalten.
Der Prozess
Jede Datei – sei es eine Rohaufnahme einer Audio-Vorlesung oder eine vollständige Videoaufnahme – durchläuft eine einzige automatisierte Pipeline. Acht aufeinanderfolgende Stufen führen sie von der Roh-Eingabe zum veröffentlichungsfertigen Output, wobei die Videoverarbeitung parallel läuft, sodass nichts auf etwas anderes warten muss.
Medien-Erkennung & Vorbereitung
FFprobe erkennt, ob die Datei Audio oder Video ist. Bei Video wird die Audiospur automatisch extrahiert. Dauer- und Formatanalyse bestimmen anschließend die Verarbeitungsstrategie.
Aufteilung basierend auf Stille
Dateien, die länger als 20 Minuten sind, werden an natürlichen Stillepunkten in Abschnitte unterteilt, sodass kein Satz mitten im Satz abgeschnitten wird, und ermöglichen so eine parallele Transkription aller Teile gleichzeitig.
KI-Transkription
Jeder Abschnitt wird an Gemini Pro oder Flash gesendet – abhängig von der Inhaltslänge ausgewählt – mit einem strukturierten Schema, das das Modell zwingt, Zeitstempel-Text mit Sprecher-Labels zurückzugeben.
Zeitlinien-Zusammenführung
Alle transkribierten Abschnitte werden mit korrekten Zeitversätzen zu einem nahtlosen Dokument zusammengefügt, mit 99 % genauer Zeitstempel-Ausrichtung über die gesamte Aufnahme.
Text-Nachbearbeitung
Die rohe Transkription wird durch Skriptumwandlung, Anwendung von Diakritika, Formatbereinigung und Verifizierung religiöser Quellenzitierungen anhand einer externen Datenbank verarbeitet.
Videoverarbeitung (parallel)
Während die Transkription läuft, übernimmt das Videomodul die HLS-Multi-Bitrate-Codierung, die Erstellung von Thumbnails, Vorschauclips und die Handhabung mehrerer Audiostreams über FFmpeg.
Untertitel- & Zusammenfassungserstellung
Aus dem final verifizierten Text werden zeitlich abgestimmte Untertiteldateien (.vtt / .srt) sowie eine automatische Metadaten-Zusammenfassung für die Content-Bibliothek erzeugt.
Cloud-Bereitstellung
Alles – Transkription, Untertitel, Zusammenfassung, HLS-Streams – wird auf AWS S3 hochgeladen und die Links an das Content-Team geliefert. 100 % Datenretention auch bei Verbindungsabbrüchen.
Lösungen
Die Hauptmerkmale der Lösung
Vereinheitlichte Audio- & Video-Pipeline — FFprobe erkennt Formate automatisch. Ein einziger Einstiegspunkt verarbeitet MP4, MKV, WebM, MOV und Audio ohne manuelle Konvertierung.
Mehrsprachige KI-Transkription — Unterstützt Englisch, Aramäisch und gemischte Sprachaufnahmen mit Eingabeaufforderungen, die Sprachgrenzen bewahren und korrekte Schriftsystemkonventionen anwenden.
Dynamische KI-Modellauswahl — Pro-, Flash- und Flash-Lite-Stufen werden automatisch anhand der Dateilänge und des Inhalts ausgewählt — Maximierung der Genauigkeit bei Minimierung der API-Kosten.
HLS Multi-Bitrate Streaming — Parallele Videoverarbeitung erzeugt adaptive Bitratenströme, Thumbnails und Vorschauclips, die für jeden modernen Videoplayer bereit sind.
300+ gleichzeitige Batch-Jobs — Kubernetes-native asynchrone Architektur verarbeitet große Batches ohne Blockierung. Helm-Charts verwalten Bereitstellung und Skalierung auf ARM-Instanzen.
Ergebnisse in Zahlen
99%
Präzision für englischen und aramäischen Audiocontent mit automatisch angewandter korrekter Schrift und Diakritika.
300+
Transkriptionsaufträge, die gleichzeitig mit intelligenter Warteschlangenverwaltung und adaptivem Backoff verarbeitet werden.
60%
Einsparungen durch dynamische Modellauswahl — leichtere Modelle verarbeiten kürzere Inhalte automatisch.
100%
Kein Datenverlust selbst bei Verbindungsabbrüchen, mit automatischer Synchronisierung, wenn die Verbindung wiederhergestellt wird.
