Vertex Transcribe Service
Sagsoversigt
En AI-drevet mediebehandlingsplatform designet til at håndtere millioner af minutters lyd- og videoindhold. Den tager optagelser af undervisningsforelæsninger – på aramæisk og engelsk – og omdanner dem til rent, formateret tekst med korrekt skrift, diakritiske tegn, verificerede referencer og tidsbestemte undertekster. Når en videofil ankommer, opdager systemet den automatisk, udtrækker lydsporet og sender det gennem den samme transskriptionspipeline.
Mål: Opbyg en mediepipeline, der kan behandle millioner af minutters indhold og levere udgivelsesklart tekst, undertekster og HLS-strømme – med så lidt manuelt arbejde som muligt. behandle både lyd og video gennem en enkelt pipeline, transskribere flersproget indhold med høj nøjagtighed og skalere dynamisk på Kubernetes for at håndtere batches med 300+ samtidige optagelser.
Vigtige projektoplysninger
Industrier
Uddannelsesindholdsplatforme, religiøse institutioner, medieudgivelser, e-læringsvirksomheder, forelæsningsarkiver, akademiske indholdsbiblioteker.
Tjenester
AI-transskription, videobehandling, lydudtrækning, HLS multi-bitrate kodning, undertekstgenerering, batchkoordination, kildereferenceverifikation, cloud-lagringslevering, miniature- & previewgenerering.
Løsninger
Unified Audio/Video-pipeline, automatisk formatgenkendelse, flersproget transskription, skriftkonvertering med diakritiske tegn, stilstandsbaseret opdeling, tidsstempel-samling, religiøs referenceverifikation, dynamisk AI-modelvalg.
Teknologier
Python, FastAPI, Google Vertex AI, Gemini Pro, Gemini Flash, Gemini Flash-Lite, FFmpeg, FFprobe, AWS S3, Google Cloud Storage, Kubernetes, Helm, Docker, ARM-instanser, HLS (m3u8), Async Python, Connection Pooling, CI/CD-pipeline.
Udfordringerne
Blandet sprogkompleksitet
Lyden skifter mellem aramæisk, engelsk og andre sprog midt i optagelsen. Speciel AI-prompting og flerstegs tekstbehandling var nødvendig for at anvende korrekte diakritiske tegn og formatering gennem hele optagelsen.
Video & lyd i én pipeline
Systemet skulle håndtere både ren lyd og video-containere. FFprobe-baseret auto-detektion udtrækker lydstrømmen fra et hvilket som helst videoformat før behandling – uden brugerindblanding.
Skalering til millioner af minutter
Designet fra bunden til massiv volumen: fuldt asynkron, paralleliseret og Kubernetes-native med korrekt ressourcestyring for at absorbere spidsbelastninger i batch-indlæsning.
Smart opdeling til lang forelæsningslyd
Forelæsninger varer ofte over en time. Stilstandsdetektering opdeler filer naturligt, mens tidsstempelsamling rekonstruerer en sømløs, kontinuerlig tidslinje uden huller eller overlap.
Smart genforsøgsystem til AI-arbejdsbelastninger
Hundredevis af samtidige AI-jobs presser leverandørgrænser hårdt. Smart genforsøgslogik, adaptiv eksponentiel tilbageholdelse og køstyring holder pipelinen i gang uden tabte jobs.
AI-modelvalg for omkostningseffektivitet
Tre AI-modelniveauer – kraftfuld, hurtig og let – vælges dynamisk baseret på indholdets længde og kompleksitet, hvilket giver op til 60% lavere API-omkostninger ved kortere indhold.
Processen
Hver fil – om det er en rå lydforelæsning eller en fuld videooptagelse – bevæger sig gennem en enkelt automatiseret pipeline. Otte sekventielle faser tager den fra rå input til udgivelsesklart output, med videobehandling kørende parallelt, så intet venter på noget andet.
Mediadetektion og forberedelse
FFprobe identificerer, om filen er lyd eller video. For video udtrækkes lydsporet automatisk. Varigheds- og formatanalyse bestemmer derefter behandlingsstrategien.
Stilstandsbaseret lydopdeling
Filer længere end 20 minutter opdeles i bidder ved naturlige stilstandspunkter, så ingen sætning afbrydes midt i, hvilket muliggør parallel transskription af alle dele samtidig.
AI-transskription
Hver bid sendes til Gemini Pro eller Flash – valgt efter indholdets længde – med et struktureret skema, der tvinger modellen til at returnere tidsstemplede tekster med talermærker.
Tidslinjefletning
Alle transskriberede dele syes sammen med korrekte tidsforskydninger til ét sammenhængende dokument med 99 % nøjagtig tidsstempeljustering gennem hele optagelsen.
Tekstefterbehandling
Rå transskription gennemgår skriftkonvertering, anvendelse af diakritiske tegn, oprydning af formatering og verifikation af religiøse kildehenvisninger mod en ekstern database.
Videobehandling (parallelt)
Mens transskriptionen kører, håndterer videomodulet HLS multi-bitrate kodning, miniaturegenerering, preview-klipskabelse og multi-lydstrømshåndtering via FFmpeg.
Undertekster & resumegenerering
Fra den endelige verificerede tekst genereres tidsbestemte undertekstfiler (.vtt / .srt) sammen med et automatisk metadataresumé til indholdsbiblioteket.
Cloud-levering
Alt – transskription, undertekster, resume, HLS-strømme – uploades til AWS S3 med links leveret til indholdsteamet. 100 % databevaring selv ved forbindelsesafbrydelser.
Løsninger
De vigtigste funktioner i løsningen
Unified Audio & Video Pipeline — FFprobe registrerer automatisk formater. Ét enkelt adgangspunkt håndterer MP4, MKV, WebM, MOV og lyd uden manuel konvertering.
Flersproget AI-transskription — Håndterer engelske, aramæiske og blandede sprogoptagelser med prompting, der bevarer sproggrænser og anvender korrekt scriptkonvention.
Dynamisk AI-modelvalg — Pro-, Flash- og Flash-Lite-tier vælges automatisk efter filens længde og indholdstype — maksimerer nøjagtighed og minimerer API-forbrug.
HLS multi-bitrate streaming — Parallel videobehandling producerer adaptive bitrate-streams, thumbnails og preview-klip klar til enhver moderne videoplayer.
300+ samtidige batchjobs — Kubernetes-native asynkron arkitektur håndterer store batcher uden blokering. Helm charts styrer implementering og skalering på ARM-instans.
Resultater i tal
99%
Præcision for engelsk og aramæisk lydindhold med automatisk korrekt script og diakritiske tegn.
300+
Transskriptionsjobs behandles samtidigt med smart køstyring og adaptiv tilbageholdelse.
60%
Besparelser via dynamisk modelvalg — lettere modeller håndterer kortere indhold automatisk.
100%
Ingen datatab, selv ved forbindelsesafbrydelser, med automatisk synkronisering, når forbindelsen genoprettes.
