Vertex Transcribe Service
Opis przypadku
Platforma do przetwarzania mediów zasilana sztuczną inteligencją, zaprojektowana do obsługi milionów minut materiałów audio i wideo. Przetwarza nagrania z wykładów edukacyjnych — w języku aramejskim i angielskim — na czysty, sformatowany tekst z poprawnym skryptem, diakrytykami, zweryfikowanymi odniesieniami i zsynchronizowanymi napisami. Gdy pojawia się plik wideo, system automatycznie go wykrywa, wyodrębnia ścieżkę audio i przesyła ją przez ten sam proces transkrypcji.
Cel: Zbudować pipeline mediów zdolny do przetwarzania milionów minut materiałów i dostarczania tekstów gotowych do publikacji, napisów i strumieni HLS — z minimalną pracą ręczną. Przetwarzać audio i wideo jednym pipeline'em, transkrybować treści wielojęzyczne z wysoką dokładnością oraz dynamicznie skalować na Kubernetes, obsługując partie 300+ równoczesnych nagrań.
Kluczowe informacje o projekcie
Branże
Platformy treści edukacyjnych, instytucje religijne, wydawnictwa medialne, firmy e-learningowe, archiwa wykładów, biblioteki treści akademickich.
Usługi
Transkrypcje AI, przetwarzanie wideo, ekstrakcja audio, kodowanie HLS wielobitowe, generowanie napisów, orkiestracja partii, weryfikacja źródeł, dostawa do chmury, generowanie miniatur i podglądów.
Rozwiązania
Zunifikowany pipeline audio/wideo, automatyczne wykrywanie formatu, transkrypcja wielojęzyczna, konwersja skryptu z diakrytykami, dzielenie na fragmenty oparte na ciszy, scalanie znaczników czasu, weryfikacja odniesień religijnych, dynamiczny wybór modeli AI.
Technologie
Python, FastAPI, Google Vertex AI, Gemini Pro, Gemini Flash, Gemini Flash-Lite, FFmpeg, FFprobe, AWS S3, Google Cloud Storage, Kubernetes, Helm, Docker, instancje ARM, HLS (m3u8), asynchroniczny Python, zarządzanie połączeniami, pipeline CI/CD.
Wyzwania
Złożoność wielu języków
Audio przełącza się między aramejskim, angielskim i innymi językami w trakcie nagrania. Potrzebne były specjalne polecenia AI i wieloetapowe przetwarzanie tekstu, aby zastosować poprawne diakrytyki i formatowanie.
Wideo i audio w jednym pipeline
System musiał obsługiwać zarówno czyste audio, jak i kontenery wideo. Automatyczne wykrywanie FFprobe wyodrębnia strumień audio z każdego formatu wideo przed przetwarzaniem — bez potrzeby interwencji użytkownika.
Skalowanie na miliony minut
Zaplanowany od podstaw pod ogromne wolumeny: w pełni asynchroniczny, równoległy i natywny dla Kubernetes z odpowiednim zarządzaniem zasobami, aby radzić sobie z nagłymi wzrostami obciążenia partii.
Inteligentne dzielenie długich wykładów audio
Wykłady często przekraczają godzinę. Dzielenie na fragmenty oparte na wykrywaniu ciszy dzieli pliki naturalnie, a scalanie znaczników czasu odtwarza ciągłą linię czasu bez przerw i nakładek.
Inteligentny system ponowień dla obciążeń AI
Setki równoczesnych zleceń AI mocno obciążają limity dostawcy. Logika inteligentnych ponowień, adaptacyjne wykładnicze opóźnienia oraz zarządzanie kolejką utrzymują pipeline w działaniu bez utraty zadań.
Wybór modelu AI dla efektywności kosztowej
Trzy poziomy modeli AI — potężny, szybki i lekki — wybierane dynamicznie na podstawie długości i złożoności treści, pozwalające zaoszczędzić do 60% kosztów API na krótszych materiałach.
Proces
Każdy plik — czy to surowy wykład audio, czy pełne nagranie wideo — przechodzi przez jeden zautomatyzowany pipeline. Osiem kolejnych etapów prowadzi go od surowego wejścia do gotowego do publikacji wyniku, z równoległym przetwarzaniem wideo, więc nic nie czeka na nic.
Wykrywanie i przygotowanie mediów
FFprobe identyfikuje, czy plik to audio czy wideo. W przypadku wideo automatycznie wyodrębnia ścieżkę audio. Analiza długości i formatu decyduje o strategii przetwarzania.
Dzielenie audio na fragmenty na podstawie ciszy
Pliki dłuższe niż 20 minut dzielone są na fragmenty w naturalnych punktach ciszy, aby żadna fraza nie została przerwana w pół zdania, umożliwiając równoległą transkrypcję wszystkich części.
Transkrypcja AI
Każdy fragment wysyłany jest do Gemini Pro lub Flash — wybranego na podstawie długości treści — z ustrukturyzowanym schematem wymuszającym zwrócenie tekstu ze znacznikami czasu i oznaczeniami mówiących.
Scalanie osi czasu
Wszystkie przetranskrybowane fragmenty są scalane z odpowiednimi przesunięciami czasowymi w jeden płynny dokument, z 99% dokładnością synchronizacji znaczników czasu w całym nagraniu.
Postprocessing tekstu
Surowa transkrypcja przechodzi konwersję skryptu, dodawanie diakrytyków, czyszczenie formatowania oraz weryfikację cytatów religijnych w bazie zewnętrznej.
Przetwarzanie wideo (równolegle)
Podczas transkrypcji moduł wideo zajmuje się kodowaniem HLS wielobitowym, generowaniem miniatur, tworzeniem klipów podglądowych i obsługą wielu strumieni audio przez FFmpeg.
Generowanie napisów i streszczeń
Na podstawie finalnego zweryfikowanego tekstu generowane są zsynchronizowane pliki napisów (.vtt / .srt) oraz automatyczne streszczenie metadanych do biblioteki treści.
Dostawa do chmury
Wszystko — transkrypcja, napisy, streszczenie, strumienie HLS — jest przesyłane do AWS S3 z linkami dostarczanymi do zespołu treści. 100% zachowanie danych nawet w przypadku przerw w połączeniu.
Rozwiązania
Kluczowe cechy rozwiązania
Zunifikowany pipeline audio i wideo — FFprobe wykrywa formaty automatycznie. Jeden punkt wejścia obsługuje MP4, MKV, WebM, MOV oraz audio bez konieczności ręcznej konwersji.
Wielojęzyczna transkrypcja AI — Obsługuje nagrania w języku angielskim, aramejskim oraz mieszane języki z zachowaniem granic językowych i stosowaniem poprawnych konwencji pisma.
Dynamiczny wybór modelu AI — Poziomy Pro, Flash i Flash-Lite wybierane są automatycznie w zależności od długości pliku i typu treści — maksymalizując dokładność przy jednoczesnym minimalizowaniu kosztów API.
Transmisja HLS z wieloma bitrate'ami — Równoległe przetwarzanie wideo generuje adaptacyjne strumienie bitowe, miniaturki i klipy podglądowe gotowe do odtwarzania w każdym nowoczesnym odtwarzaczu wideo.
300+ jednoczesnych zadań wsadowych — Architektura asynchroniczna natywna dla Kubernetes radzi sobie z dużymi partiami bez blokowania. Helm charts zarządza wdrożeniem i skalowaniem na instancjach ARM.
Wyniki w liczbach
99%
Precyzja dla treści audio w językach angielskim i aramejskim z automatycznie zastosowanym poprawnym pismem i diakrytykami.
300+
Zadania transkrypcji przetwarzane równolegle z inteligentnym zarządzaniem kolejką i adaptacyjnym powrotem.
60%
Oszczędności dzięki dynamicznemu wyborowi modelu — lżejsze modele automatycznie obsługują krótsze nagrania.
100%
Brak utraty danych nawet podczas przerw w połączeniu, z automatyczną synchronizacją po jego przywróceniu.
