Vertex Transcribe Service
Fallöversikt
En AI-driven mediebehandlingsplattform designad för att hantera miljontals minuter av ljud- och videoinnehåll. Den tar uppspelningar av utbildningsföreläsningar – på arameiska och engelska – och omvandlar dem till ren, formaterad text med korrekt skrift, diakritiska tecken, verifierade referenser och tidsinställda undertexter. När en videofil anländer detekterar systemet den automatiskt, extraherar ljudspåret och leder det genom samma transkriptionsprocess.
Mål: Bygga en mediapipeline som kan bearbeta miljontals minuter av innehåll och leverera publiceringsklart textmaterial, undertexter och HLS-strömmar – med så lite manuellt arbete som möjligt. Bearbeta både ljud och video genom en enda pipeline, transkribera flerspråkigt innehåll med hög noggrannhet och skala dynamiskt på Kubernetes för att hantera batchar med över 300 samtidiga inspelningar.
Viktig projektinformation
Branscher
Utbildningsplattformar, religiösa institutioner, medieutgivning, e-lärande företag, föreläsningsarkiv, akademiska innehållsbibliotek.
Tjänster
AI-transkription, videobearbetning, ljudutvinning, HLS-multibitrate-kodning, undertextgenerering, batchorkestrering, verifiering av källreferenser, molnlagringsleverans, generering av miniatyrbilder och förhandsgranskningar.
Lösningar
Enhetlig ljud-/videopipeline, automatisk formatdetektion, flerspråkig transkription, skriftkonvertering med diakritiska tecken, tystnadsbaserad delning, tidsstämpelsammanslagning, verifiering av religiösa referenser, dynamiskt urval av AI-modeller.
Teknologier
Python, FastAPI, Google Vertex AI, Gemini Pro, Gemini Flash, Gemini Flash-Lite, FFmpeg, FFprobe, AWS S3, Google Cloud Storage, Kubernetes, Helm, Docker, ARM-instanser, HLS (m3u8), Async Python, Connection Pooling, CI/CD-pipeline.
Utmaningarna
Komplicerad blandning av språk
Ljudet växlar mellan arameiska, engelska och andra språk mitt i inspelningen. Särskild AI-styrning och flerstegs textbearbetning krävdes för att tillämpa rätt diakritiska tecken och formatering genomgående.
Video och ljud i en pipeline
Systemet behövde hantera både ren ljud- och videokontainrar. FFprobe-baserad automatisk detektion extraherar ljudströmmen från vilket videoformat som helst innan bearbetning – ingen användarintervention behövs.
Skalning för miljontals minuter
Designad från grunden för massiv volym: fullt asynkron, parallelliserad och Kubernetes-native med korrekt resurshantering för att hantera toppar i batchbelastningen.
Smart delning för långa föreläsningsljud
Föreläsningar överstiger ofta en timme. Tystnadsdetekteringsbaserad delning delar filerna naturligt, medan tidsstämpelsammanslagning återskapar en sömlös kontinuerlig tidslinje utan luckor eller överlapp.
Smart återförsökssystem för AI-arbetsbelastningar
Hundratals samtidiga AI-jobb pressar leverantörsgränser hårt. Smart återförsöklogik, adaptiv exponentiell backoff och köhantering håller pipelinen igång utan bortfall av jobb.
AI-modellval för kostnadseffektivitet
Tre AI-modellnivåer – kraftfull, snabb och lättviktig – väljs dynamiskt baserat på innehållets längd och komplexitet, vilket ger upp till 60 % lägre API-kostnader för kortare innehåll.
Processen
Varje fil – oavsett om det är rå ljudföreläsning eller full videoinspelning – passerar genom en enda automatiserad pipeline. Åtta sekventiella steg tar det från rådata till publiceringsklart utdata, med videobehandling som körs parallellt så att inget väntar på något annat.
Mediaigenkänning och förberedelse
FFprobe identifierar om filen är ljud eller video. För video extraheras ljudspåret automatiskt. Varaktighets- och formatanalys avgör sedan bearbetningsstrategin.
Tystnadsbaserad ljuddelning
Filer längre än 20 minuter delas upp i segment vid naturliga tysta punkter så att ingen fras klipps mitt i en mening, vilket möjliggör parallell transkription över alla delar samtidigt.
AI-transkription
Varje del skickas till Gemini Pro eller Flash – valt baserat på innehållets längd – med ett strukturerat schema som tvingar modellen att returnera tidsstämplad text med talaretiketter.
Tidslinjesammanslagning
Alla transkriberade delar sys ihop med rätt tidsförskjutningar till ett sömlöst dokument med 99 % noggrann tidssynkronisering över hela inspelningen.
Textefterbehandling
Rå transkription går igenom skriftkonvertering, tillämpning av diakritiska tecken, formateringsrensning och verifiering av religiösa källhänvisningar mot en extern databas.
Videobearbetning (parallellt)
Medan transkriptionen pågår hanterar videomodulen HLS-multibitrate-kodning, generering av miniatyrbilder, skapande av förhandsgranskningsklipp och hantering av flera ljudströmmar via FFmpeg.
Undertexter och sammanfattningsgenerering
Från den slutligt verifierade texten genereras tidsinställda undertextfiler (.vtt / .srt) tillsammans med en automatisk metadatasammanfattning för innehållsbiblioteket.
Molnleverans
Allt – transkription, undertexter, sammanfattning, HLS-strömmar – laddas upp till AWS S3 med länkar levererade till innehållsteamet. 100 % databevarande även vid anslutningsavbrott.
Lösningar
De viktigaste funktionerna i lösningen
Enhetlig ljud- och videoström — FFprobe upptäcker automatiskt format. En enda ingångspunkt hanterar MP4, MKV, WebM, MOV och ljud utan manuell konvertering.
Flerspråkig AI-transkription — Hanterar engelska, arameiska och blandade språk med uppmaning som bevarar språkgränser och tillämpar korrekta skriptkonventioner.
Dynamiskt AI-modellval — Pro-, Flash- och Flash-Lite-nivåer väljs automatiskt utifrån filens längd och innehållstyp — maximerar noggrannheten samtidigt som API-kostnaderna minimeras.
HLS flervärdesströmning — Parallell videobearbetning producerar adaptiva bithastighetsströmmar, miniatyrbilder och förhandsgranskningsklipp redo för vilken modern videospelare som helst.
300+ samtidiga batchjobb — Kubernetes-native asynkron arkitektur hanterar stora batchar utan blockering. Helm-diagram hanterar distribution och skalning på ARM-instanser.
Resultat i siffror
99%
Precision för engelskt och arameiskt ljudinnehåll med korrekta skript och diakritiska tecken applicerade automatiskt.
300+
Transkriptionsjobb bearbetas samtidigt med smart köhantering och adaptiv backoff.
60%
Besparingar genom dynamiskt modellval — lättare modeller hanterar automatiskt kortare innehåll.
100%
Ingen dataförlust ens vid anslutningsavbrott, med automatisk synkronisering när anslutningen återställs.
