Vertex Transcribe -palvelu
Tapauskatsaus
Tekoälyllä varustettu mediasisällön käsittelyalusta, joka on suunniteltu käsittelemään miljoonia minuutteja ääni- ja videomateriaalia. Se ottaa vastaan tallenteita opetuksellisista luennoista — arameaksi ja englanniksi — ja muuntaa ne puhtaaksi, muotoilluksi tekstiksi oikeilla kirjoitusasuilla, diakriittisillä merkeillä, varmennetuilla lähteillä ja ajoitettujen tekstitysten kanssa. Kun videotiedosto saapuu, järjestelmä tunnistaa sen automaattisesti, poimii ääniraidan ja ohjaa sen saman litterointiputken läpi.
Tavoite: Rakentaa mediasisältöputki, joka pystyy käsittelemään miljoonia minuutteja sisältöä ja toimittamaan julkaisuvalmiin tekstin, tekstitykset ja HLS-suoratoistot mahdollisimman vähällä manuaalisella työllä. Käsitellä sekä ääni- että videomateriaali yhdellä putkella, litteroida monikielistä sisältöä korkealla tarkkuudella ja skaalautua dynaamisesti Kubernetes-ympäristössä käsittelemään yli 300 samanaikaista tallennetta.
Tärkeää tietoa projektista
Toimialat
Opetussisältöalustat, uskonnolliset instituutiot, medi julkaisijat, e-oppimisyritykset, luentoarkistot, akateemiset sisältökirjastot.
Palvelut
Tekoälypohjainen litterointi, videon käsittely, äänen erottelu, HLS-monibitraattinen enkoodaus, tekstitysten luonti, eräajo orkestrointi, lähdeviitteiden tarkistus, pilvitallennuksen toimitus, pikkukuva- ja esikatselumateriaalin luonti.
Ratkaisut
Yhtenäinen ääni- ja videoputki, automaattinen formaatin tunnistus, monikielinen litterointi, kirjoitusasun muunnos diakrtiittisillä merkeillä, hiljaisuuteen perustuva pilkkominen, aikaleimojen yhdistely, uskonnollisten lähteiden tarkistus, dynaaminen tekoälymallien valinta.
Teknologiat
Python, FastAPI, Google Vertex AI, Gemini Pro, Gemini Flash, Gemini Flash-Lite, FFmpeg, FFprobe, AWS S3, Google Cloud Storage, Kubernetes, Helm, Docker, ARM-instanstit, HLS (m3u8), Async Python, connection pool, CI/CD-putki.
Haasteet
Sekakielinen monimutkaisuus
Ääni vaihtelee aramean, englannin ja muiden kielten välillä tallenteen aikana. Tarvittiin erityisiä tekoälykäskyjä ja monivaiheista tekstinkäsittelyä oikeiden diakriittisten merkkien ja muotoilun soveltamiseksi koko aineistoon.
Video ja ääni samassa putkessa
Järjestelmän oli pystyttävä käsittelemään sekä puhdasta äänimateriaalia että videokontteja. FFprobe-pohjainen automaattinen tunnistus poimii ääniraidan mistä tahansa videoformaatista ennen käsittelyä — ilman käyttäjän väliintuloa.
Skaalaus miljooniin minuutteihin
Suunniteltu alusta alkaen suurille määrille: täysin asynkroninen, rinnakkainen ja Kubernetes-natiivi, asianmukaisella resurssien hallinnalla suuren eräkuorman huippujen tasaamiseen.
Älykäs pilkkominen pitkille luennoille
Luennot ylittävät usein tunnin keston. Hiljaisuuden tunnistukseen perustuva pilkkominen jakaa tiedostot luonnollisesti, ja aikaleimojen yhdisteleminen muodostaa saumattoman jatkuvan aikajanan ilman aukkoja tai päällekkäisyyksiä.
Älykäs uudelleenkokeilujärjestelmä tekoälykuormille
Sadat samanaikaiset tekoälytyöt kuormittavat palveluntarjoajien rajoja voimakkaasti. Älykäs uudelleenkokeilu, adaptiivinen eksponentiaalinen viive ja jononhallinta pitävät putken liikkeessä ilman töiden katoamista.
Tekoälymallin valinta kustannustehokkuuteen
Kolme tekoälymallitasoa — tehokas, nopea ja kevyt — valitaan dynaamisesti sisällön pituuden ja monimutkaisuuden perusteella, mikä tuottaa jopa 60 % alemmat API-kulut lyhyemmällä sisällöllä.
Prosessi
Jokainen tiedosto — olipa kyse raakaääniluennosta tai täydellisestä videotallenteesta — kulkee yhden automatisoidun putken läpi. Kahdeksan peräkkäistä vaihetta vie tiedoston raakasisällöstä julkaisuvalmiiseen lopputulokseen, ja videon käsittely tapahtuu rinnakkain niin, ettei mikään odota mitään.
Median tunnistus ja valmistelu
FFprobe tunnistaa, onko tiedosto ääni- vai videotiedosto. Videon tapauksessa ääniraita erotetaan automaattisesti. Kesto- ja formaattianalyysi määrittävät sen jälkeen käsittelystrategian.
Hiljaisuuteen perustuva äänipilkkominen
Yli 20 minuuttia kestävät tiedostot pilkotaan osuuksiin luonnollisista hiljaisuuskohdista, jotta mikään lause ei katkea kesken jaeron, ja litterointi voidaan tehdä kaikille osille rinnakkain.
Tekoälypohjainen litterointi
Jokainen osio lähetetään Gemini Prolle tai Flashille — valinta perustuu sisällön pituuteen — rakenteellisella skeemalla, joka pakottaa mallin palauttamaan aikaleimatun tekstin puhujamerkinnöillä.
Aikajanan yhdistäminen
Kaikki litteroidut osat yhdistetään oikeilla aikasiirtymillä yhdeksi saumattomaksi dokumentiksi, ja aikaleimojen kohdistus on 99 % tarkkuudella koko tallenteessa.
Tekstin jälkikäsittely
Raaka litterointi käy läpi kirjoitusasumuunnoksen, diakriittisten merkkien lisäämisen, muotoilun siistimisen ja uskonnollisten lähdeviitteiden tarkistuksen ulkoista tietokantaa vasten.
Videon käsittely (rinnakkain)
Litteroinnin aikana videomoduuli hoitaa HLS-monibitraattisen enkoodauksen, pikkukuvien luomisen, esikatseluklippien generoinnin ja moniraidan äänien käsittelyn FFmpegillä.
Tekstitysten ja tiivistelmän luonti
Lopullisesta varmennetusta tekstistä luodaan ajoitetut tekstitys- tiedostot (.vtt / .srt) sekä automaattinen metatietoyhteenveto sisältökirjastolle.
Pilvitoimitus
Kaikki — litterointi, tekstitykset, tiivistelmä, HLS-suoratoistot — ladataan AWS S3:een ja linkit toimitetaan sisällönhallintatiimille. 100 % tietojen säilyvyys jopa yhteyden katkeamisen aikana.
Ratkaisut
Ratkaisun avainominaisuudet
Yhtenäinen ääni- ja videoputki — FFprobe tunnistaa automaattisesti formaatit. Yksi pääsykohta käsittelee MP4-, MKV-, WebM-, MOV-videoita ja ääntä ilman manuaalista muunnosta.
Monikielinen tekoälypohjainen litterointi — Käsittelee englannin, aramean ja sekoituskieliset tallenteet kielellisiä rajoja kunnioittavalla kehotteella ja soveltaa oikeita kirjoituskonventioita.
Dynaaminen tekoälymallin valinta — Pro-, Flash- ja Flash-Lite-tasot valitaan automaattisesti tiedoston pituuden ja sisältötyypin mukaan — maksimoiden tarkkuuden samalla kun API-kustannukset pitenevät pieninä.
HLS-monivauhtinen suoratoisto — Rinnakkainen videonkäsittely tuottaa adaptiivisia bittinopeusvirtoja, pikkukuvia ja esikatseluklippejä, valmiina mihin tahansa nykyaikaiseen videotoistimeen.
300+ rinnakkaista erätyötä — Kubernetes-natiivinen asynkroninen arkkitehtuuri käsittelee suuria määriä estämättä. Helm-paketit hallitsevat käyttöönottoa ja skaalausta ARM-instansseissa.
Tulokset numeroina
99%
Tarkkuus englannin ja aramean äänisisällössä, jossa oikea kirjoitusasu ja diakriitit lisätään automaattisesti.
300+
Litterointitehtävät käsitellään samanaikaisesti älykkään jononhallinnan ja adaptiivisen takaisinkytkennän avulla.
60%
Säästöjä dynaamisen mallin valinnan kautta — kevyemmät mallit käsittelevät automaattisesti lyhyempää sisältöä.
100%
Ei datan menetystä edes yhteyskatkosten aikana, automaattisella synkronoinnilla, kun yhteys palautuu.
