Vertexin litterointipalvelu
Tapauskatsaus
Tekoälyllä toimiva median käsittelyalusta, joka on suunniteltu käsittelemään miljoonia minuutteja ääni- ja videomateriaalia. Se ottaa vastaan opetustallenteita – arameaksi ja englanniksi – ja muuntaa ne puhtaaksi, muotoilluksi tekstiksi, jossa on oikea kirjoitusasu, diakriittiset merkit, vahvistetut lähteet ja ajoitetut tekstitykset. Kun videotiedosto saapuu, järjestelmä tunnistaa sen automaattisesti, eristää ääniraidan ja ohjaa sen saman litterointiputken läpi.
Tavoite: Rakentaa medialle putki, joka pystyy käsittelemään miljoonia minuutteja sisältöä ja tuottamaan julkaisuvalmiin tekstin, tekstitykset ja HLS-suoratoistot mahdollisimman vähäisellä manuaalisella työllä. Käsitellä sekä ääntä että videota yhdellä putkella, litteroida monikielistä sisältöä korkealla tarkkuudella ja skaalautua dynaamisesti Kubernetes-ympäristössä yli 300 yhtäaikaisen tallenteen eräkuormaan.
Keskeiset projektitiedot
Toimialat
Opetussisältöalustat, uskonnolliset instituutiot, mediakustannusala, verkkokoulutusyritykset, luentojen arkistot, akateemiset sisältökirjastot.
Palvelut
Tekoälylitterointi, videon käsittely, äänen poiminta, HLS-monibitrate-koodaus, tekstitysten luonti, erätyön orkestrointi, lähdesitaattien tarkistus, pilvitallennuksen toimitus, pikkukuvien ja esikatselujen luonti.
Ratkaisut
Yhdistetty ääni/video-putki, automaattinen formaattitunnistus, monikielinen litterointi, kirjoitusasun muunnos diakriitein, hiljaisuusperusteinen pilkkominen, aikaleimojen yhdistäminen, uskonnollisten lähteiden tarkistus, dynaaminen tekoälymallin valinta.
Teknologiat
Python, FastAPI, Google Vertex AI, Gemini Pro, Gemini Flash, Gemini Flash-Lite, FFmpeg, FFprobe, AWS S3, Google Cloud Storage, Kubernetes, Helm, Docker, ARM-instanssit, HLS (m3u8), Async Python, yhteyksien hallinta, CI/CD-putki.
Haasteet
Sekakielinen monimutkaisuus
Ääni vaihteli aramean, englannin ja muiden kielten välillä tallenteen aikana. Erityinen tekoälykehote ja monivaiheinen tekstinkäsittely tarvittiin oikeiden diakriittisten merkkien ja muotoilun soveltamiseen koko ajan.
Video ja ääni samassa putkessa
Järjestelmän piti käsitellä sekä pelkät äänitiedostot että videotiedostot. FFprobe-pohjainen automaattinen tunnistus eristi ääniraidan miltä tahansa videotiedostomuodolta ennen käsittelyä – käyttäjän toimintaa ei tarvittu.
Skaalaus miljoonille minuuteille
Suunniteltu alusta alkaen suuren volyymin käsittelyyn: täysin asynkroninen, rinnakkaistettu ja Kubernetesin natiivi, resurssien hallinnalla piikkien käsittelyyn eräkuormassa.
Älykäs pilkkominen pitkille luennoille
Luennot ylittävät usein tunnin kestonsa. Hiljaisuuden havaitseva pilkkominen jakaa tiedostot luonnollisesti, ja aikaleimojen yhdistäminen palauttaa saumattoman jatkuvan aikajanan ilman aukkoja tai päällekkäisyyksiä.
Älykäs uudelleenyritys tekoälytyöhön
Sadat samanaikaiset tekoälytyöt kuormittavat palveluntarjoajan rajat. Älykäs uudelleenyrityslogiikka, adaptiivinen eksponentiaalinen viive ja jonon hallinta pitävät putken liikkeessä putoamatta töitä.
Tekoälymallin valinta kustannustehokkuuteen
Kolme tekoälymallitasoa – tehokas, nopea ja kevyt – valitaan dynaamisesti sisällön pituuden ja monimutkaisuuden perusteella, tuottaen jopa 60 % pienemmät API-kustannukset lyhyemmälle sisällölle.
Prosessi
Jokainen tiedosto – olipa kyse raakasta ääniluentotallenteesta tai täydellisestä videosta – kulkee läpi yhden automaattisen putken. Kahdeksan perättäistä vaihetta vievät tiedoston raakatulosta julkaisuvalmiiksi tiedostoksi, ja videon käsittely tapahtuu rinnakkain niin, ettei mikään jää odottamaan muuta.
Median tunnistus ja valmistelu
FFprobe tunnistaa, onko tiedosto ääni- vai videotiedosto. Videolle ääniraita poimitaan automaattisesti. Kesto- ja formaattianalyysi määrittää käsittelystrategian.
Hiljaisuuden perusteella tapahtuva äänen pilkkominen
Yli 20 minuuttia kestävät tiedostot jaetaan osiin luonnollisissa hiljaisuuskohdissa, jotta yhtäkään lausetta ei katkaista kesken, mahdollistaen rinnakkaisen litteroinnin kaikissa osissa samanaikaisesti.
Tekoälylitterointi
Jokainen osa lähetetään Gemini Prolle tai Flashille – valinta perustuu sisällön pituuteen – rakennepaketin kanssa, joka pakottaa mallin palauttamaan aikaleimatun tekstin puhujien nimillä.
Aikajanan yhdistäminen
Kaikki litteroidut osat yhdistetään takaisin oikeilla aikaeroilla yhdeksi saumattomaksi dokumentiksi, jossa aikaleimojen synkronointi on 99 % tarkkuudella koko tallenteessa.
Tekstin jälkikäsittely
Raakalitterointi käy läpi kirjoitusasumuunnoksen, diakriittisten merkkien lisäämisen, muotoilun siivouksen ja uskonnollisten lähteiden sitaattien tarkistuksen ulkoista tietokantaa vasten.
Videon käsittely (rinnakkain)
Litteroinnin lomassa videomoduli hoitaa HLS-monibitrate-koodausta, pikkukuvien luontia, esikatseluklippien tekemistä sekä monikanavaisen äänen hallintaa FFmpegillä.
Tekstitykset ja yhteenvedon luonti
Lopullisesta vahvistetusta tekstistä tuotetaan ajoitetut tekstitystiedostot (.vtt / .srt) sekä automaattinen metadata-yhteenveto sisältökirjastoa varten.
Pilvitoimitus
Kaikki – litterointi, tekstitykset, yhteenveto, HLS-suoratoistot – ladataan AWS S3:een, ja linkit toimitetaan sisältötiimille. 100 % tiedon säilyvyys myös yhteyksien katketessa.
Ratkaisut
Ratkaisun keskeiset ominaisuudet
Yhtenäinen ääni- ja videovirta — FFprobe tunnistaa muodot automaattisesti. Yksi sisäänpääsy käsittelee MP4-, MKV-, WebM-, MOV-tiedostot ja äänen ilman manuaalista muunnosta.
Monikielinen tekoälykirjoitus — Käsittelee englannin, aramean ja sekoitetut kielinauhoitukset kehotuksella, joka säilyttää kielirajat ja käyttää oikeita kirjoituskonventioita.
Dynaaminen tekoälymallin valinta — Pro-, Flash- ja Flash-Lite-tasot valitaan automaattisesti tiedoston pituuden ja sisältötyypin perusteella — maksimoi tarkkuuden ja minimoi API-kulut.
HLS-monibitinopeuden suoratoisto — Rinnakkainen videonkäsittely tuottaa sopeutuvia bittinopeusvirtoja, pikkukuvia ja esikatselupätkiä, jotka ovat valmiita käytettäväksi missä tahansa nykyaikaisessa videotoistimessa.
Yli 300 samanaikaista erätyötä — Kubernetesin natiivikäyttöinen asynkroninen arkkitehtuuri käsittelee suuria eräpaketteja ilman estoja. Helm-kaaviot hallinnoivat käyttöönottoa ja skaalautuvuutta ARM-instansseilla.
Tulokset numeroina
99%
Tarkkuus englannin ja aramean äänisisällöille, jossa oikea kirjoitusasu ja diakriitikot lisätään automaattisesti.
300+
Kirjoitustyöt käsitellään samanaikaisesti älykkään jononhallinnan ja mukautuvan takaiskunhallinnan avulla.
60%
Säästöjä dynaamisen malli valinnan avulla — kevyemmät mallit käsittelevät automaattisesti lyhyempiä sisältöjä.
100%
Ei tiedon häviämistä edes yhteyden katketessa, automaattinen synkronointi yhteyden palauduttua.
