Vertex Transcribe Service
Pregled slučaja
Platforma za obradu medija pokretana umjetnom inteligencijom dizajnirana za obradu milijuna minuta audio i video sadržaja. Uzima snimke edukativnih predavanja — na aramejskom i engleskom — i pretvara ih u čist, formatiran tekst s ispravnim pismom, dijakritičkim znakovima, provjerenim referencama i titlovima s vremenskim oznakama. Kad stigne video datoteka, sustav je automatski detektira, izvlači audio zapis i šalje ga kroz isti transkripcijski tok.
Cilj: Izgraditi medijski tok sposoban za obradu milijuna minuta sadržaja i isporuku teksta spremnog za objavu, titlova i HLS streamova - uz što manje ručnog rada. Obraditi i audio i video kroz jedan tok, transkribirati sadržaj na više jezika s visokom točnošću i dinamički skalirati na Kubernetesu za obradu serija od 300+ istodobnih snimaka.
Ključne informacije o projektu
Industrije
Platforme za edukativni sadržaj, vjerske ustanove, medijska izdavaštva, tvrtke za e-učenje, arhive predavanja, akademske knjižnice sadržaja.
Usluge
AI transkripcija, obrada videa, izdvajanje zvuka, HLS kodiranje s višestrukim brzinama prijenosa, generiranje titlova, orkestracija serija, provjera izvora referenci, isporuka putem cloud pohrane, generiranje minijatura i pregleda.
Rješenja
Jedinstveni audio/video tok, automatska detekcija formata, transkripcija na više jezika, konverzija pisma s dijakritičkim znakovima, segmentacija na temelju tišine, spajanje vremenskih oznaka, provjera vjerskih referenci, dinamičan odabir AI modela.
Tehnologije
Python, FastAPI, Google Vertex AI, Gemini Pro, Gemini Flash, Gemini Flash-Lite, FFmpeg, FFprobe, AWS S3, Google Cloud Storage, Kubernetes, Helm, Docker, ARM Instances, HLS (m3u8), Async Python, Connection Pooling, CI/CD Pipeline.
Izazovi
Složena mješavina jezika
Zvuk prelazi između aramejskog, engleskog i drugih jezika tijekom snimanja. Bilo je potrebno posebno AI usmjeravanje i višestupanjska obrada teksta za pravilnu primjenu dijakritičkih znakova i formatiranja.
Video i audio u jednom toku
Sustav je morao obrađivati i čisti audio i video kontejnere. Autodetekcija temeljena na FFprobe-u izvlači audio zapis iz bilo kojeg video formata prije obrade — bez potrebe za intervencijom korisnika.
Skaliranje za milijune minuta
Dizajnirano ispočetka za veliki volumen: potpuno asinkrono, paralelno i sa Kubernetes izvornom podrškom i pravilnim upravljanjem resursima za prihvat vrhunca u opterećenju serija.
Pametna segmentacija za dugi predavački audio
Predavanja često traju duže od sat vremena. Segmentacija temeljena na otkrivanju tišine dijeli datoteke prirodno, dok spajanje vremenskih oznaka rekonstruira neprekidan, besprijekoran vremenski slijed bez praznina ili preklapanja.
Pametni sustav ponovnog pokušaja za AI zadatke
Stotine istodobnih AI poslova jako opterećuju ograničenja pružatelja. Pametna logika ponovnog pokušaja, prilagodljivi eksponencijalni odgode i upravljanje redom održavaju tok bez gubitka zadataka.
Odabir AI modela za učinkovitost troškova
Tri razine AI modela — snažan, brz i lagan — biraju se dinamički na temelju duljine i složenosti sadržaja, pružajući do 60% niže troškove API-ja za kraći sadržaj.
Proces
Svaka datoteka — bilo da je sirovi audio zapis predavanja ili potpuna video snimka — prolazi kroz jedan automatizirani tok. Osam uzastopnih faza vodi od sirovog unosa do izlaza spremnog za objavu, dok se obrada videa odvija paralelno tako da ništa ne čeka na drugo.
Detekcija i priprema medija
FFprobe identificira je li datoteka audio ili video. Za video se audio zapis automatski izvlači. Analiza trajanja i formata potom određuje strategiju obrade.
Segmentacija zvuka temeljena na tišini
Datoteke duže od 20 minuta dijele se u segmente na prirodnim mjestima tišine kako nijedna fraza ne bi bila prekinuta usred rečenice, omogućujući paralelnu transkripciju svih dijelova istovremeno.
AI transkripcija
Svaki segment šalje se modelu Gemini Pro ili Flash — koji se bira prema duljini sadržaja — sa strukturiranim shemama koje tjeraju model da vraća tekst s vremenskim oznakama i oznakama govornika.
Spajanje vremenskih linija
Svi transkribirani dijelovi se povezuju s točnim vremenskim pomacima u jedan neprekinuti dokument, s 99% točno usklađenim vremenskim oznakama kroz cijelu snimku.
Naknadna obrada teksta
Sirova transkripcija prolazi kroz konverziju pisma, primjenu dijakritičkih znakova, čišćenje formatiranja i provjeru citata vjerskih izvora prema vanjskoj bazi podataka.
Obrada videa (paralelno)
Dok trči transkripcija, video modul obrađuje HLS kodiranje s više brzina prijenosa, generiranje minijatura, stvaranje preglednih isječaka i rukovanje višestrukim audio zapisima putem FFmpeg-a.
Generiranje titlova i sažetaka
Iz konačnog verificiranog teksta generiraju se vremenski označene datoteke s titlovima (.vtt / .srt) uz automatski sažetak metapodataka za biblioteku sadržaja.
Isporuka u oblak
Sve — transkripcija, titlovi, sažetak, HLS streamovi — učitava se na AWS S3 s linkovima koji se dostavljaju timu za sadržaj. 100% zadržavanje podataka čak i kod prekida veze.
Rješenja
Ključne značajke rješenja
Jedinstveni audio i video tok — FFprobe automatski prepoznaje formate. Jedna ulazna točka obrađuje MP4, MKV, WebM, MOV i audio bez ručne konverzije.
Višejezični AI transkripcija — Obrađuje snimke na engleskom, aramejskom i u miješanim jezicima uz upite koji čuvaju jezične granice i primjenjuju ispravne konvencije pisma.
Dinamički odabir AI modela — Pro, Flash i Flash-Lite razine biraju se automatski prema duljini datoteke i vrsti sadržaja — maksimizirajući točnost dok minimiziraju troškove API-ja.
HLS višestruko bitrate streaming — Paralelna obrada videozapisa proizvodi adaptivne bitrate tokove, sličice i pregledne isječke spremne za bilo koji suvremeni video player.
300+ paralelnih grupnih zadataka — Kubernetes-nativna asinhrona arhitektura obrađuje velike serije bez blokiranja. Helm grafovi upravljaju raspoređivanjem i skaliranjem na ARM instancama.
Rezultati u brojkama
99%
Preciznost za audio sadržaj na engleskom i aramejskom s automatskom primjenom ispravnog pisma i dijakritičkih znakova.
300+
Transkripcijski zadaci obrađuju se istovremeno s pametnim upravljanjem reda i prilagodljivim odmakom.
60%
Uštede kroz dinamički odabir modela — lakši modeli automatski obrađuju kraći sadržaj.
100%
Nema gubitka podataka čak ni tijekom prekida veze, s automatskom sinkronizacijom kada se veza uspostavi.
