Vertex Transcribe Service
Sagsoversigt
En AI-drevet mediebehandlingsplatform designet til at håndtere millioner af minutters lyd- og videomateriale. Den tager optagelser af uddannelsesforelæsninger – på aramæisk og engelsk – og omdanner dem til ren, formateret tekst med korrekt manuskript, diakritiske tegn, verificerede referencer og tidsbestemte undertekster. Når en videofil ankommer, registrerer systemet det automatisk, udtrækker lydsporet og leder det gennem den samme transskriptionspipeline.
Mål: Opbyg en mediepipeline, der kan behandle millioner af minutters indhold og levere udgivelsesklar tekst, undertekster og HLS-streams – med så lidt manuelt arbejde som muligt. Behandle både lyd og video gennem en enkelt pipeline, transskribere flersproget indhold med høj nøjagtighed og skalere dynamisk på Kubernetes for at håndtere batches med 300+ samtidige optagelser.
Nøgleoplysninger om projektet
Industrier
Uddannelsesindholdsplatforme, religiøse institutioner, medieudgivelse, e-læringsfirmaer, forelæsningsarkiver, akademiske indholdsbiblioteker.
Tjenester
AI-transskription, videobehandling, lydudtrækning, HLS multi-bitrate kodning, undertekstgenerering, batchorchestrering, verifikation af kildehenvisninger, levering via cloudlagring, miniature- og forhåndsvisningsgenerering.
Løsninger
Enhedslyd-/videopipeline, automatisk formatgenkendelse, flersproget transskription, manuskriptkonvertering med diakritiske tegn, stilhedsbaseret opdeling, tidsstempel-sammenføjning, verifikation af religiøse referencer, dynamisk AI-modelvalg.
Teknologier
Python, FastAPI, Google Vertex AI, Gemini Pro, Gemini Flash, Gemini Flash-Lite, FFmpeg, FFprobe, AWS S3, Google Cloud Storage, Kubernetes, Helm, Docker, ARM-instanser, HLS (m3u8), asynkron Python, forbindelsespulje, CI/CD-pipeline.
Udfordringerne
Blandet sprogkompleksitet
Lyd skifter mellem aramæisk, engelsk og andre sprog midt i optagelsen. Særlig AI-prompting og flertrins tekstbehandling var nødvendig for at anvende korrekte diakritiske tegn og formatering gennem hele teksten.
Video og lyd i én pipeline
Systemet skulle kunne håndtere både ren lyd og video-container. FFprobe-baseret autodetektion udtrækker lydstrømmen fra ethvert videoformat før behandling – ingen brugerintervention nødvendig.
Skaler til millioner af minutter
Designet fra bunden til massiv volumen: fuldt asynkront, paralleliseret og Kubernetes-native med korrekt ressourcestyring til at håndtere spidsbelastninger i batch.
Smart opdeling for lang forelæsningslyd
Forelæsninger overstiger ofte en time. Stilhedsdetekteringsopdeling deler filer naturligt, mens tidsstempelsammenføjning genskaber et sammenhængende kontinuerligt tidsforløb uden huller eller overlap.
Smart genforsøgsystem for AI-arbejdsbelastning
Hundreder af samtidige AI-job presser udbydergrænser hårdt. Smart genforsøgslogik, adaptiv eksponentiel backoff og køstyring holder pipelinen i gang uden tabte job.
AI-modelvalg for omkostningseffektivitet
Tre AI-modelniveauer – kraftfuld, hurtig og let – vælges dynamisk baseret på indholdslængde og -kompleksitet, og leverer op til 60 % lavere API-omkostninger på kortere indhold.
Processen
Hver fil – uanset om det er en rå lydforelæsning eller en fuld videooptagelse – bevæger sig gennem en enkelt automatiseret pipeline. Otte sekventielle trin tager den fra rå input til udgivelsesklar output, med videobehandling kørende parallelt, så intet venter på noget andet.
Mediedetektion og forberedelse
FFprobe identificerer, om filen er lyd eller video. For video udtrækkes lydsporet automatisk. Varigheds- og formatanalyse afgør dernæst behandlingsstrategien.
Silence-baseret lydopdeling
Filer, der er længere end 20 minutter, opdeles i segmenter ved naturlige stilhedspunkter, så ingen sætning bliver afbrudt midt i, hvilket muliggør parallel transskription af alle dele samtidigt.
AI-transskription
Hvert segment sendes til Gemini Pro eller Flash – valgt efter indholdslængde – med et struktureret skema, der tvinger modellen til at returnere tidsstempleret tekst med talermærkater.
Tidslinjesammenføring
Alle transskriberede dele sammenføjes med korrekte tidsforskydninger til ét sammenhængende dokument med 99 % nøjagtig tidsstempel-justering for hele optagelsen.
Tekstefterbehandling
Rå transskription gennemgår manuskriptkonvertering, anvendelse af diakritiske tegn, oprydning af formatering og verifikation af religiøse kildehenvisninger mod en ekstern database.
Videobehandling (parallelt)
Mens transskriptionen kører, håndterer videomodulet HLS multi-bitrate kodning, miniaturegenerering, oprettelse af preview-klip og håndtering af flere lydstrømme via FFmpeg.
Undertekster og resumégenerering
Fra den endelige verificerede tekst genereres tidsbestemte undertekstfiler (.vtt / .srt) sammen med et automatisk metadataresumé til indholdsbiblioteket.
Cloud-levering
Alt – transskription, undertekster, resumé, HLS-streams – uploades til AWS S3 med links leveret til indholdsteamet. 100 % databevarelse selv ved forbindelsesafbrydelser.
Løsninger
Løsningsnøglefunktioner
Forenet lyd- og videopipeline — FFprobe opdager formater automatisk. Et enkelt indgangspunkt håndterer MP4, MKV, WebM, MOV og lyd uden manuel konvertering.
Fler-sproget AI-transskription — Håndterer optagelser på engelsk, aramæisk og blandede sprog med prompt, der bevarer sproglige grænser og anvender korrekte skriptkonventioner.
Dynamisk AI-modelvalg — Pro-, Flash- og Flash-Lite-niveauer vælges automatisk efter filens længde og indholdstype — maksimerer nøjagtighed samtidigt med at API-udgifter minimeres.
HLS multi-bit rate streaming — Parallel video-behandling producerer adaptive bitrate-streams, thumbnails og forhåndsvisningsklip klar til enhver moderne videospiller.
300+ samtidige batch-jobs — Kubernetes-native asynkron arkitektur håndterer store batches uden blokering. Helm-diagrammer styrer udrulning og skalering på ARM-instanser.
Resultater i tal
99%
Præcision for engelsk og aramæisk lydindhold med korrekt skrift og diakritiske tegn anvendt automatisk.
300+
Transskriptionsjobs behandlet samtidigt med smart køstyring og adaptiv tilbageførsel.
60%
Besparelser gennem dynamisk modelvalg — lettere modeller håndterer automatisk kortere indhold.
100%
Ingen datatab, selv under forbindelsesafbrydelser, med automatisk synkronisering, når forbindelsen genoprettes.
