Vertex Transcribe þjónusta
Yfirlit máls
Gervigreindar-stýrð fjölmiðlameðferðarpallur hannaður til að vinna úr milljónum mínútna af hljóði og myndbandsefni. Hann tekur upphátt kveðjur af menntunarfyrirlestrum — á arameíska og ensku — og breytir þeim í hreint, formatað texta með réttum handritum, greinamerkjum, sannprófuðum heimildum og tímasettum textum. Þegar myndbandsskrá berst greinir kerfið hana sjálfkrafa, tekur hljóðrásina úr og leiðir það í gegnum sömurita ferlið.
Markmið: Byggja fjölmiðlakerfi sem getur unnið úr milljónum mínútna af efni og skilað útgáfuvænum texta, textum og HLS straumum - með eins litlu handvirku vinnu og mögulegt er. Meðhöndla bæði hljóð og myndband í gegnum einn feril, skrifa margtungumálaefni með mikilli nákvæmni, og stækka sveigjanlega í Kubernetes til að taka á móti hópum af 300+ samhliða upptökum.
Lykilupplýsingar um verkefnið
Iðnaður
Menntunarefnisveitur, Trúarstofnanir, Fjölmiðlaprentun, Rafrænar námsfyrirtæki, Fyrirlestrageymslur, Vísindabókasöfn.
Þjónustur
Gervigreindarskráning, myndbandavinnsla, hljóðútdráttur, HLS fjölstraumskóðun, textasmíð, hópastýring, heimildarheimildarstaðfesting, skýgeymsluafhending, forskoðunarsmíð.
Lausnir
Sameinað hljóð-/myndbandakerfi, sjálfvirk sniðgreining, margtungumála ritun, handritabreyting með greinamerkjum, þögull hópun, tímalínur samsettar, trúarheimildarstaðfesting, aðlögunarhæf gervigreindarlíkanaval.
Tæknin
Python, FastAPI, Google Vertex AI, Gemini Pro, Gemini Flash, Gemini Flash-Lite, FFmpeg, FFprobe, AWS S3, Google Cloud Storage, Kubernetes, Helm, Docker, ARM Instances, HLS (m3u8), Async Python, Connection Pooling, CI/CD Pipeline.
Áskoranirnar
Flókið margtungumál
Hljóð færir sig milli arameísku, ensku og annarra tungumála á meðan á upptöku stendur. Sérstakar gervigreindar fyrirspurnir og margþrepa textavinnsla þurfti til að beita réttum greinamerkjum og formati allt í gegnum ferlið.
Myndband & hljóð í einum ferli
Kerfið þurfti að meðhöndla bæði hreint hljóð og myndbandsgögn. Sjálfvirk sniðgreining byggð á FFprobe tekur hljóðrásina úr hvaða myndbandsformi sem er áður en unnið er úr því — engin inngrip notanda nauðsynlegt.
Stækka fyrir milljónir mínútna
Hannað frá grunni fyrir gríðarlegt magn: fullkomlega ósamstillt, í samhliða vinnslu, og Kubernetes-náttúrulegt með viðeigandi auðlindastjórnun til að taka við toppum í hópavinnu.
Snjall hópun fyrir langar fyrirlestur
Fyrirlestrar eru oft yfir eina klukkustund. Þögnagrip endanlega klippir skrár á eðlilegum þögnarpunktum, meðan tímalína samsetning endurheimtir samfleytta tíma án bils eða tvítekningar.
Snjallt endurprófunarkerfi fyrir AI verkefni
Hundruðir samhliða AI verkefna þrýsta á takmarkanir þjónustuveitenda. Snjöll endurprófunarregla, aðlögunarhæfur veldisvís bakslag og biðraðastjórnun halda ferlinu gangandi án taptra verkefna.
AI líkanaval fyrir kostnaðarsparnað
Þrjú stig AI líkana — öflug, hraðvirk og auðveld — eru valin miðað við lengd og flókið efnis, og skila allt að 60% lægri API kostnaði á styttri efni.
Ferlið
Skrá – hvort sem það er hrá hljóðfyrirlestur eða full upptaka á myndbandi – fer í gegnum einn sjálfvirkan feril. Átta stig í röð taka það frá hráu inntaki yfir í útgáfuvænan árangur, með myndbandavinnslu keyrandi samhliða svo ekkert bíður eftir neinu.
Miðilgreining & undirbúningur
FFprobe greinir hvort skrá sé hljóð eða myndband. Fyrir myndband er hljóðrás tekin sjálfkrafa út. Tímalengd og sniðsgreining ákvarða síðan vinnsluaðferð.
Þöggunarbrot á hljóði
Skrár sem eru lengri en 20 mínútur eru klipptar í hluta á náttúrulegum þögnarpunktum svo engin setning sé klippt í miðju, sem leyfir samtímis ritun yfir alla hluta.
Gervigreindarritun
Hver hluti er sendur til Gemini Pro eða Flash – valið eftir efnislengd – með uppbyggðu sniði sem neytir líkanið að skila tímasettum textum með taliðakjörlum.
Tímalínusamsetning
Allir skrifaðir hlutir eru settir saman með réttum tímamun í eitt samfellt skjöl, með 99% nákvæmni við tímasetningu í gegnum alla upptökuna.
Eftirvinnsla texta
Hrár texti fer í gegnum handritabreytingu, greinamerkjasetningu, formatahreinsun og trúarheimildarstaðfestingu miðað við ytri gagnasafn.
Myndbandavinnsla (samhliða)
Meðan ritun stendur sér myndbandsmódel um HLS fjölstraums-kóðun, forskoðunarmyndasmið, búning forsýningarklippa og meðhöndlun margra hljóðrása með FFmpeg.
Texti og samantekt
Frá endanlegu staðfestu textunum eru framleidd tímasett textaskrár (.vtt / .srt) ásamt sjálfvirkri samantekt fyrir efnisbókasafn.
Skýafhending
Allt – ritun, texti, samantekt, HLS straumar – er hlaðið upp í AWS S3 með tenglum sendum til efnisþjálfa. 100% gagnageymsla jafnvel við nettengingarbilun.
Lausnir
Lykilatriði lausnarinnar
Sameinað hljóð- og myndbandsskilvirkni — FFprobe greinir sjálfkrafa formöt. Ein inngöngupunktur færir utan um MP4, MKV, WebM, MOV og hljóð án handvirkrar umbreytingar.
Fjöltyng AI afritun — Tekur á enskum, aramísku og fjöltyngdum hljóðupptökum með vísun sem varðveitir tungumálamörk og beitir réttum ritvenjum.
Hreyfanleg val á AI líkanum — Pro, Flash og Flash-Lite stig eru valin sjálfkrafa eftir lengd skráar og tegund efnis — hámarkar nákvæmni á sama tíma og lágmarkar API kostnað.
HLS margþrýstistreyma — Samhliða vinnsla myndbanda framleiðir aðlögunarhæfar þráðhraðastreymur, smámyndir og forsýningarklippur tilbúnar fyrir hvaða nútíma myndspilara sem er.
300+ samtímis lotuvinnuverkefni — Kubernetes-upprunnin ósamhverf bygging heldur utan um stórar lotur án þess að stífla. Helm-kort stjórna dreifingu og stigstærð á ARM vélar.
Niðurstöður í tölum
99%
Nákvæmni fyrir ensk og aramísk hljóðefni með réttum ritunartáknum sjálfvirkt settum.
300+
Afritunarverkefni unnin samhliða með snjöllum biðröðastjórnun og aðlögun á hægri endurtekningu.
60%
Sparnaður með hreyfanlegu valinu á líkanum — léttari líkön halda utan um styttra efni sjálfkrafa.
100%
Engin gagnatap jafnvel við tengingarrof, með sjálfvirkri samstillingu þegar tenging verður aftur.
