Vertex Transcribe Service
Översikt av fallet
En AI-driven mediebehandlingsplattform utformad för att hantera miljontals minuter av ljud- och videoinnehåll. Den tar inspelningar av utbildningsföreläsningar — på arameiska och engelska — och omvandlar dem till ren, formaterad text med korrekt skrift, diakritiska tecken, verifierade referenser och tidsinställda undertexter. När en videofil anländer upptäcker systemet det automatiskt, extraherar ljudspåret och leder det genom samma transkriptionspipeline.
Mål: Bygg en mediapipeline som kan bearbeta miljontals minuter av innehåll och leverera publiceringsfärdig text, undertexter och HLS-strömmar — med så lite manuellt arbete som möjligt. Bearbeta både ljud och video genom en enda pipeline, transkribera flerspråkigt innehåll med hög noggrannhet och skalas dynamiskt på Kubernetes för att hantera batchar med 300+ samtidiga inspelningar.
Viktig projektinformation
Branscher
Plattformar för utbildningsinnehåll, religiösa institutioner, medieförlag, e-lärandeföretag, föreläsningsarkiv, akademiska innehållsbibliotek.
Tjänster
AI-transkription, videobehandling, ljudutvinning, HLS multi-bitrate-kodning, generering av undertexter, batchorkestrering, verifiering av källreferenser, leverans av molnlagring, generering av miniatyrbilder och förhandsvisningar.
Lösningar
Enhetlig ljud-/videopipeline, automatisk formatdetektion, flerspråkig transkription, konvertering av manus med diakritiska tecken, tystnadsbaserad delning, tidstämpel-sammanslagning, verifiering av religiösa referenser, dynamiskt urval av AI-modeller.
Teknologier
Python, FastAPI, Google Vertex AI, Gemini Pro, Gemini Flash, Gemini Flash-Lite, FFmpeg, FFprobe, AWS S3, Google Cloud Storage, Kubernetes, Helm, Docker, ARM-instanser, HLS (m3u8), Async Python, Connection Pooling, CI/CD-pipeline.
Utmaningarna
Komplex flerspråkighet
Ljud växlar mellan arameiska, engelska och andra språk mitt i inspelningen. Särskild AI-stimulans och flerstegs textbearbetning krävdes för att tillämpa korrekta diakritiska tecken och formatering genomgående.
Video och ljud i en och samma pipeline
Systemet måste hantera både ren ljud- och videokontainer. FFprobe-baserad auto-detektion extraherar ljudströmmen från vilket videoformat som helst innan bearbetning — ingen användarintervention krävs.
Skala för miljontals minuter
Designad från grunden för enorm volym: helt asynkron, parallelliserad och Kubernetes-native med korrekt resursförvaltning för att absorbera toppar i batchbelastning.
Smart delning för långt föreläsningsljud
Föreläsningar överstiger ofta en timme. Tystnadsdetektering delar upp filer naturligt, medan tidstämpelsammanslagning återskapar en sömlös kontinuerlig tidslinje utan luckor eller överlapp.
Smart återförsökssystem för AI-arbetsbelastningar
Hundratals samtidiga AI-jobb pressar leverantörsgränserna hårt. Smart logik för återförsök, adaptiv exponentiell backoff och köhantering håller pipelinen igång utan tappade jobb.
AI-modellval för kostnadseffektivitet
Tre AI-modellnivåer — kraftfull, snabb och lättviktig — väljs dynamiskt baserat på innehållets längd och komplexitet, och levererar upp till 60 % lägre API-kostnader för kortare innehåll.
Processen
Varje fil — oavsett om det är en rå ljudföreläsning eller en full videoinspelning — går igenom en enda automatiserad pipeline. Åtta sekventiella steg tar den från råindata till publiceringsklart utdata, med videobehandling som kör parallellt så att inget väntar på något annat.
Mediadetektion och förberedelse
FFprobe identifierar om filen är ljud eller video. För video extraheras ljudspåret automatiskt. Varaktighets- och formatanalys avgör sedan bearbetningsstrategin.
Tystnadsbaserad ljuddelning
Filer längre än 20 minuter delas upp i bitar vid naturliga tystnadspunkter så att ingen fras klipps mitt i en mening, vilket möjliggör parallell transkription över alla delar samtidigt.
AI-transkription
Varje bit skickas till Gemini Pro eller Flash — valt efter innehållets längd — med ett strukturerat schema som tvingar modellen att återge tidsstämplad text med talarmärkningar.
Tidslinjesammanslagning
Alla transkriberade delar sys ihop med korrekta tidsförskjutningar till ett sömlöst dokument, med 99 % exakt tidsstämpelanpassning över hela inspelningen.
Efterbehandling av text
Rå transkription går igenom scriptkonvertering, applicering av diakritiska tecken, formateringsrensning och verifiering av religiösa källhänvisningar mot en extern databas.
Videobehandling (parallellt)
Medan transkriptionen pågår hanterar videomodulen HLS multi-bitrate-kodning, generering av miniatyrbilder, skapande av förhandsvisningsklipp och hantering av flera ljudströmmar via FFmpeg.
Generering av undertexter och sammanfattningar
Från den slutliga verifierade texten genereras tidsinställda undertextfiler (.vtt / .srt) tillsammans med en automatisk metadatasammanfattning för innehållsbiblioteket.
Molnleverans
Allt — transkription, undertexter, sammanfattning, HLS-strömmar — laddas upp till AWS S3 med länkar levererade till innehållsteamet. 100 % databevarande även vid anslutningsavbrott.
Lösningar
Lösningens nyckelfunktioner
Enhetlig ljud- och videopipeline — FFprobe upptäcker format automatiskt. En enda ingångspunkt hanterar MP4, MKV, WebM, MOV och ljud utan manuell konvertering.
Fler-språkig AI-transkribering — Hanterar engelska, arameiska och inspelningar med blandade språk med prompting som bevarar språkgränser och tillämpar korrekta skriptkonventioner.
Dynamiskt val av AI-modell — Pro-, Flash- och Flash-Lite-nivåer väljs automatiskt utifrån filens längd och innehållstyp — vilket maximerar noggrannhet samtidigt som API-kostnader minimeras.
HLS multi-bitrate streaming — Parallell videobehandling producerar adaptiva bitrate-strömmar, miniatyrbilder och förhandsklipp redo för alla moderna videospelare.
300+ samtidiga batchjobb — Kubernetes-native asynkron arkitektur hanterar stora batcher utan blockering. Helm-diagram hanterar distribution och skalning på ARM-instansser.
Resultat i siffror
99%
Precision för engelskt och arameiskt ljudinnehåll med korrekt skrift och diakritiska tecken applicerade automatiskt.
300+
Transkriberingsjobb bearbetas samtidigt med smart köhantering och adaptiv återgång.
60%
Besparingar genom dynamiskt modellval — lättare modeller hanterar kortare innehåll automatiskt.
100%
Ingen dataförlust ens vid avbrott i anslutningen, med automatisk synk när anslutningen återställs.
