Vertex Transcribe Service
Przegląd przypadku
Platforma do przetwarzania mediów oparta na sztucznej inteligencji, zaprojektowana do obsługi milionów minut treści audio i wideo. Przekształca nagrania wykładów edukacyjnych — po aramejsku i angielsku — w czysty, sformatowany tekst z prawidłowym skryptem, diakrytykami, zweryfikowanymi odniesieniami i czasowymi napisami. Gdy nadesłany zostaje plik wideo, system automatycznie go wykrywa, wyodrębnia ścieżkę dźwiękową i kieruje ją przez ten sam proces transkrypcji.
Cel: Zbudować pipeline medialny zdolny do przetwarzania milionów minut treści oraz dostarczania gotowego do publikacji tekstu, napisów i strumieni HLS — z minimalnym udziałem ręcznej pracy. Przetwarzać zarówno audio, jak i wideo w jednym pipeline, transkrybować treści wielojęzyczne z wysoką dokładnością oraz skalować dynamicznie na Kubernetes, by obsłużyć partie 300+ równoczesnych nagrań.
Kluczowe informacje o projekcie
Branże
Platformy z treściami edukacyjnymi, instytucje religijne, wydawnictwa medialne, firmy e-learningowe, archiwa wykładów, biblioteki treści akademickich.
Usługi
Transkrypcja AI, przetwarzanie wideo, ekstrakcja audio, kodowanie HLS wielobitowe, generowanie napisów, orkiestracja partii, weryfikacja odniesień źródłowych, dostarczanie w chmurze, generowanie miniatur i podglądów.
Rozwiązania
Zunifikowany pipeline audio/wideo, automatyczne wykrywanie formatu, transkrypcja wielojęzyczna, konwersja skryptu z diakrytykami, dzielenie na fragmenty na podstawie ciszy, składanie znaczników czasowych, weryfikacja odniesień religijnych, dynamiczny wybór modelu AI.
Technologie
Python, FastAPI, Google Vertex AI, Gemini Pro, Gemini Flash, Gemini Flash-Lite, FFmpeg, FFprobe, AWS S3, Google Cloud Storage, Kubernetes, Helm, Docker, instancje ARM, HLS (m3u8), asynchroniczny Python, łączenie połączeń, pipeline CI/CD.
Wyzwania
Złożoność wielojęzyczna
Dźwięk przełącza się między aramejskim, angielskim i innymi językami w trakcie nagrania. Wymagane były specjalne wskazówki AI i wieloetapowe przetwarzanie tekstu, aby zastosować poprawne diakrytyki i formatowanie.
Wideo i audio w jednej przepływie
System musiał obsługiwać zarówno czyste audio, jak i kontenery wideo. Automatyczne wykrywanie oparte na FFprobe wyodrębnia strumień audio z dowolnego formatu wideo przed przetwarzaniem — bez potrzeby interwencji użytkownika.
Skalowanie na miliony minut
Zaprojektowany od podstaw do obsługi gigantycznej ilości danych: w pełni asynchroniczny, zrównoleglony i natywny dla Kubernetes z właściwym zarządzaniem zasobami, aby absorbowć skoki obciążeń batchowych.
Inteligentne dzielenie na fragmenty dla długiego audio z wykładów
Wykłady często trwają ponad godzinę. Dzielenie fragmentów na podstawie wykrywania ciszy dzieli pliki naturalnie, a składanie znaczników czasowych rekonstruuje płynną linię czasu bez przerw i nakładań.
Inteligentny system ponowień dla obciążeń AI
Setki równoczesnych zadań AI mocno obciążają limity dostawcy. Inteligentna logika ponowień, adaptacyjny wykładniczy backoff i zarządzanie kolejką utrzymują płynność pipeline’u bez utraty zadań.
Wybór modelu AI dla efektywności kosztowej
Trzy poziomy modeli AI — potężny, szybki i lekki — wybierane dynamicznie na podstawie długości i złożoności treści, pozwalające osiągnąć do 60% niższe koszty API na krótszych materiałach.
Proces
Każdy plik — czy to surowy wykład audio, czy pełne nagranie wideo — przechodzi przez jeden zautomatyzowany pipeline. Osiem kolejnych etapów przeprowadza go od surowego wejścia do gotowego do publikacji wyniku, podczas gdy przetwarzanie wideo odbywa się równolegle, aby nic nie czekało na nic.
Wykrywanie i przygotowanie mediów
FFprobe identyfikuje, czy plik to audio czy wideo. Dla wideo ścieżka audio jest wyodrębniana automatycznie. Analiza długości i formatu determinuje strategię przetwarzania.
Dzielenie audio na fragmenty na podstawie ciszy
Pliki dłuższe niż 20 minut dzielone są na fragmenty w naturalnych punktach ciszy, by żadna fraza nie była przerwana w połowie zdania, umożliwiając równoległą transkrypcję wszystkich części naraz.
Transkrypcja AI
Każdy fragment jest wysyłany do Gemini Pro lub Flash — wybierany według długości treści — z ustrukturyzowanym schematem wymuszającym zwrot tekstu z oznaczeniami czasów i nazwiskami mówców.
Scalanie osi czasu
Wszystkie transkrybowane fragmenty są zszywane z odpowiednimi przesunięciami czasowymi w jeden ciągły dokument, z 99% dokładnością wyrównania znaczników czasowych w całym nagraniu.
Postprocesing tekstu
Surowa transkrypcja przechodzi konwersję skryptu, stosowanie diakrytyków, oczyszczanie formatowania oraz weryfikację cytowań źródeł religijnych względem zewnętrznej bazy danych.
Przetwarzanie wideo (równoległe)
Podczas gdy trwa transkrypcja, moduł wideo obsługuje kodowanie HLS wielobitowe, generowanie miniatur, tworzenie klipów podglądowych i obsługę wielościeżkowego audio przez FFmpeg.
Generowanie napisów i podsumowań
Z ostatecznego zweryfikowanego tekstu generowane są pliki napisów czasowych (.vtt / .srt) wraz z automatycznym podsumowaniem metadanych dla biblioteki treści.
Dostarczanie w chmurze
Wszystko — transkrypcja, napisy, podsumowanie, strumienie HLS — jest przesyłane na AWS S3 z linkami dostarczanymi do zespołu treści. 100% zachowania danych nawet przy przerwach w połączeniu.
Rozwiązania
Kluczowe cechy rozwiązania
Zunifikowany pipeline audio i wideo — FFprobe automatycznie wykrywa formaty. Jeden punkt wejścia obsługuje MP4, MKV, WebM, MOV oraz audio bez konieczności ręcznej konwersji.
Wielojęzyczna transkrypcja AI — Obsługuje nagrania w języku angielskim, aramejskim i mieszane, z podpowiedziami zachowującymi granice językowe oraz stosującymi poprawne konwencje pisma.
Dynamiczny wybór modelu AI — Poziomy Pro, Flash i Flash-Lite są wybierane automatycznie na podstawie długości pliku i typu treści — maksymalizując dokładność i minimalizując koszty API.
HLS wielobitowa transmisja strumieniowa — Równoległe przetwarzanie wideo tworzy strumienie o adaptacyjnym bitrate, miniaturki oraz klipy podglądowe gotowe dla nowoczesnych odtwarzaczy wideo.
300+ równoczesnych zadań wsadowych — Architektura asynchroniczna natywna dla Kubernetes obsługuje duże partie bez blokowania. Helm chart zarządza wdrożeniem i skalowaniem na instancjach ARM.
Wyniki w liczbach
99%
Precyzja dla dźwięku w języku angielskim i aramejskim z automatycznym stosowaniem poprawnego pisma i znaków diakrytycznych.
300+
Zadania transkrypcyjne przetwarzane jednocześnie z inteligentnym zarządzaniem kolejką i adaptacyjnym opóźnieniem.
60%
Oszczędności dzięki dynamicznemu wyborowi modelu — lżejsze modele automatycznie obsługują krótsze treści.
100%
Zero utraty danych nawet podczas przerw w połączeniu, z automatyczną synchronizacją po przywróceniu łączności.
