Vertex Transcribe Service
Pregled slučaja
Platforma za obradu medija temeljena na umjetnoj inteligenciji dizajnirana za rukovanje milijunima minuta audio i video sadržaja. Uzima snimke edukativnih predavanja — na aramejskom i engleskom jeziku — i pretvara ih u čist, formatiran tekst s pravilnim pismom, dijakritičkim znakovima, provjerenim referencama i sinkroniziranim titlovima. Kada stigne video datoteka, sustav je automatski detektira, izvlači audio zapis i prosljeđuje ga kroz isti transkripcijski proces.
Cilj: Izgraditi medijski procesni lanac sposoban za obradu milijuna minuta sadržaja i isporuku teksta, titlova i HLS tokova spremnih za objavu - uz što manje ručnog rada. Obraditi i audio i video kroz jedinstveni proces, precizno prepisati višejezični sadržaj i dinamički se skalirati na Kubernetesu kako bi se mogli obrađivati paketi od 300+ istovremenih snimaka.
Ključne informacije o projektu
Industrije
Platforme za edukativni sadržaj, vjerske institucije, medijsko izdavaštvo, tvrtke za e-učenje, arhivi predavanja, akademske knjižnice sadržaja.
Usluge
AI transkripcija, obrada videa, ekstrakcija zvuka, višestruko kodiranje HLS-a (multi-bitrate), generiranje titlova, orkestracija paketa, provjera izvora referenci, isporuka u cloud pohranu, generiranje minijatura i pretpregleda.
Rješenja
Jedinstveni procesni lanac za audio i video, automatska detekcija formata, višejezična transkripcija, konverzija pisma s dijakritičkim znakovima, segmentiranje na temelju tišine, sastavljanje vremenskih oznaka, provjera vjerskih referenci, dinamički odabir AI modela.
Tehnologije
Python, FastAPI, Google Vertex AI, Gemini Pro, Gemini Flash, Gemini Flash-Lite, FFmpeg, FFprobe, AWS S3, Google Cloud Storage, Kubernetes, Helm, Docker, ARM instance, HLS (m3u8), asinhroni Python, povezivanje veza, CI/CD lanac.
Izazovi
Složenost miješanih jezika
Audio se u snimci izmjenjuje između aramejskog, engleskog i drugih jezika. Potrebno je specijalno AI pojašnjavanje i višestepena obrada teksta kako bi se ispravno primijenili dijakritični znakovi i formatiranje.
Video i audio u jednom procesu
Sustav je morao obrađivati i čisti audio i video spremnike. Auto-detektor baziran na FFprobe izvlači audio zapis iz bilo kojeg video formata prije obrade — bez potrebe za intervencijom korisnika.
Skaliranje na milijune minuta
Dizajniran od temelja za masivan volumen: potpuno asinhrono, paralelno i Kubernetes-native s pravilnim upravljanjem resursima za apsorpciju vrhova opterećenja paketa.
Pametno segmentiranje za dugi audio predavanja
Predavanja često traju više od sat vremena. Segmentiranje na temelju detekcije tišine dijeli datoteke prirodno, dok sastavljanje vremenskih oznaka rekonstruira neprekidnu vremensku liniju bez praznina ili preklapanja.
Pametni sustav ponovnih pokušaja za AI zadatke
Stotine istovremenih AI zadataka snažno opterećuju granice pružatelja usluga. Pametna logika ponovnih pokušaja, adaptivni eksponencijalni povratak i upravljanje redom održavaju proces u pokretu bez gubitka zadataka.
Odabir AI modela radi uštede troškova
Tri razine AI modela — snažni, brzi i lagani — biraju se dinamički prema duljini i složenosti sadržaja, donoseći do 60% niže troškove API-ja za kraći sadržaj.
Proces
Svaka datoteka — bilo sirova audio snimka ili potpuna video snimka — prolazi kroz jedan automatizirani procesni lanac. Osam uzastopnih faza vodi je od sirovog ulaza do izlaza spremnog za objavu, dok se obrada videa odvija paralelno tako da ništa ne čeka na drugu fazu.
Detekcija i priprema medija
FFprobe prepoznaje je li datoteka audio ili video. Za video, audio zapis se automatski izvlači. Analiza trajanja i formata potom određuje strategiju obrade.
Podjela audio zapisa na temelju tišine
Datoteke duže od 20 minuta dijele se na segmente na prirodnim točkama tišine kako se nijedna fraza ne bi presjekla usred rečenice, omogućujući paralelnu transkripciju svih dijelova istovremeno.
AI transkripcija
Svaki segment se šalje na Gemini Pro ili Flash — odabrano prema duljini sadržaja — s strukturiranim obrascem koji model prisiljava da vrati tekst s vremenskim oznakama i oznakama govornika.
Sastavljanje vremenske linije
Svi transkribirani dijelovi se ponovno sastavljaju s ispravnim vremenskim pomacima u jedan besprijekoran dokument, s 99% točnošću usklađivanja vremenskih oznaka tijekom cijele snimke.
Naknadna obrada teksta
Sirova transkripcija prolazi kroz konverziju pisma, primjenu dijakritičkih znakova, čišćenje formatiranja i provjeru izvora religijskih citata prema vanjskoj bazi podataka.
Obrada videa (paralelno)
Dok transkripcija radi, video modul se brine o višestrukom kodiranju HLS-a, generiranju minijatura, stvaranju pretpreglednih isječaka i upravljanju višestrukim audio zapisima putem FFmpeg-a.
Generiranje titlova i sažetaka
Iz konačnog provjerenog teksta generiraju se vremenski usklađene titl datoteke (.vtt / .srt) zajedno s automatskim sažetkom metapodataka za knjižnicu sadržaja.
Isporuka u oblak
Sve — transkripcija, titlovi, sažetak, HLS tokovi — učitava se na AWS S3 s poveznicama koje se dostavljaju timu za sadržaj. 100% zadržavanja podataka čak i pri prekidima veze.
Rješenja
Ključne značajke rješenja
Ujednačeni Audio & Video Cjevovod — FFprobe automatski otkriva formate. Jedna ulazna točka obrađuje MP4, MKV, WebM, MOV i audio bez ručne konverzije.
Višejezični AI Prepisivanje — Rukuje engleskim, aramejskim i snimkama s miješanim jezicima s promptovima koji čuvaju jezične granice i primjenjuju ispravne konvencije pisma.
Dinamički AI Odabir Modela — Profesionalne, Flash i Flash-Lite razine biraju se automatski prema duljini datoteke i vrsti sadržaja — maksimizirajući točnost uz minimiziranje troškova API-ja.
HLS Streaming s Više Brzina Prenosa — Paralelna obrada videa proizvodi adaptivne streamove brzine prijenosa, sličice i pregledne isječke spremne za bilo koji moderni video reproduktor.
300+ Istovremenih Batch Zadatka — Kubernetes-nativna asinkrona arhitektura obrađuje velike serije bez blokiranja. Helm grafikoni upravljaju implementacijom i skaliranjem na ARM instancama.
Rezultati u brojkama
99%
Preciznost za engleski i aramejski audio sadržaj s ispravno primijenjenim pismom i dijakriticima automatski.
300+
Zadaci prepisivanja obrađeni istovremeno s pametnim upravljanjem redom i adaptivnim odgađanjem.
60%
Uštede kroz dinamički odabir modela — lakši modeli automatski obrađuju kraći sadržaj.
100%
Nema gubitka podataka čak ni tijekom prekida veze, s automatskom sinkronizacijom pri ponovnom uspostavljanju veze.
