Servizio di trascrizione Vertex
Panoramica del caso
Una piattaforma di elaborazione media alimentata da intelligenza artificiale progettata per gestire milioni di minuti di contenuti audio e video. Prende registrazioni di lezioni educative — in aramaico e inglese — e le trasforma in testo pulito e formattato con script corretti, diacritici, riferimenti verificati e sottotitoli temporizzati. Quando arriva un file video, il sistema lo rileva automaticamente, estrae la traccia audio e la instrada attraverso la stessa pipeline di trascrizione.
Obiettivo: Costruire una pipeline media in grado di elaborare milioni di minuti di contenuti e fornire testo, sottotitoli e flussi HLS pronti per la pubblicazione - con il minor lavoro manuale possibile. Elaborare sia audio che video attraverso un'unica pipeline, trascrivere contenuti multilingue con alta precisione e scalare dinamicamente su Kubernetes per gestire batch di oltre 300 registrazioni simultanee.
Informazioni chiave sul progetto
Settori
Piattaforme di contenuti educativi, istituzioni religiose, editoria media, aziende di e-learning, archivi di lezioni, biblioteche di contenuti accademici.
Servizi
Trascrizione AI, elaborazione video, estrazione audio, codifica HLS multi-bit rate, generazione di sottotitoli, orchestrazione batch, verifica riferimenti sorgente, consegna su cloud storage, generazione miniature e anteprime.
Soluzioni
Pipeline unificata audio/video, rilevazione automatica del formato, trascrizione multilingue, conversione script con diacritici, divisione basata sul silenzio, unione dei timestamp, verifica riferimenti religiosi, selezione dinamica del modello AI.
Tecnologie
Python, FastAPI, Google Vertex AI, Gemini Pro, Gemini Flash, Gemini Flash-Lite, FFmpeg, FFprobe, AWS S3, Google Cloud Storage, Kubernetes, Helm, Docker, istanze ARM, HLS (m3u8), Python asincrono, pooling di connessione, pipeline CI/CD.
Le sfide
Complessità linguistica mista
L'audio passa tra aramaico, inglese e altre lingue a metà registrazione. È stato necessario un prompting AI speciale e un'elaborazione testuale multisfaccettata per applicare diacritici e formattazione corretti ovunque.
Video e audio in un'unica pipeline
Il sistema doveva gestire sia audio puro che contenitori video. L'auto-rilevamento basato su FFprobe estrae lo stream audio da qualsiasi formato video prima dell'elaborazione — senza intervento dell'utente.
Scala per milioni di minuti
Progettato da zero per volumi massicci: completamente asincrono, parallelizzato e nativo Kubernetes con gestione adeguata delle risorse per assorbire picchi di carico batch.
Divisione intelligente per audio di lezioni lunghe
Le lezioni spesso superano un'ora. La divisione basata sul rilevamento del silenzio divide i file naturalmente, mentre l'unione dei timestamp ricostruisce una timeline continua senza gap o sovrapposizioni.
Sistema di ritentativi intelligente per carichi AI
Centinaia di lavori AI concorrenti spingono al limite i fornitori. La logica di ritentativo intelligente, il backoff esponenziale adattivo e la gestione della coda mantengono la pipeline in movimento senza perdere lavori.
Selezione del modello AI per efficienza dei costi
Tre livelli di modelli AI — potenti, veloci e leggeri — sono selezionati dinamicamente in base alla lunghezza e complessità del contenuto, offrendo fino al 60% di riduzione dei costi API sui contenuti più brevi.
Il processo
Ogni file — sia una lezione audio grezza che una registrazione video completa — passa attraverso un'unica pipeline automatizzata. Otto fasi sequenziali lo trasformano da input grezzo a output pronto per la pubblicazione, con l'elaborazione video eseguita in parallelo così nulla attende altro.
Rilevamento e preparazione media
FFprobe identifica se il file è audio o video. Per i video, la traccia audio viene estratta automaticamente. Analisi di durata e formato determinano quindi la strategia di elaborazione.
Divisione audio basata sul silenzio
I file più lunghi di 20 minuti sono divisi in segmenti in punti di silenzio naturali in modo che nessuna frase venga tagliata a metà, permettendo trascrizioni parallele su tutti i pezzi simultaneamente.
Trascrizione AI
Ogni segmento viene inviato a Gemini Pro o Flash — selezionato in base alla lunghezza del contenuto — con uno schema strutturato che obbliga il modello a restituire testo con timestamp e etichette dei parlanti.
Unione della timeline
Tutti i pezzi trascritti sono riuniti con i giusti offset temporali in un unico documento continuo, con allineamento timestamp preciso al 99% sull'intera registrazione.
Post-elaborazione del testo
La trascrizione grezza passa attraverso conversione dello script, applicazione dei diacritici, pulizia della formattazione e verifica della citazione della fonte religiosa contro un database esterno.
Elaborazione video (parallelamente)
Durante la trascrizione, il modulo video gestisce la codifica HLS multibit rate, generazione delle miniature, creazione clip di anteprima e gestione di flussi audio multipli tramite FFmpeg.
Generazione di sottotitoli e riepilogo
Dal testo finale verificato, vengono generati file di sottotitoli temporizzati (.vtt / .srt) insieme a un riepilogo automatico dei metadati per la libreria contenuti.
Consegna su cloud
Tutto — trascrizioni, sottotitoli, riepiloghi, flussi HLS — è caricato su AWS S3 con link inviati al team dei contenuti. Conservazione dati al 100% anche in caso di cadute di connessione.
Soluzioni
Le caratteristiche chiave della soluzione
Pipeline Audio & Video Unificato — FFprobe rileva automaticamente i formati. Un unico punto di ingresso gestisce MP4, MKV, WebM, MOV e audio senza conversione manuale.
Trascrizione AI Multilingue — Gestisce registrazioni in inglese, aramaico e lingue miste con prompt che preservano i confini linguistici e applicano le corrette convenzioni di scrittura.
Selezione Dinamica del Modello AI — I livelli Pro, Flash e Flash-Lite sono scelti automaticamente in base alla lunghezza del file e al tipo di contenuto — massimizzando la precisione riducendo al minimo i costi API.
Streaming HLS a Multi-Bitrate — L'elaborazione video parallela produce flussi a bitrate adattivo, miniature e clip di anteprima pronte per qualsiasi lettore video moderno.
300+ Lavori Batch Concomitanti — L'architettura asincrona nativa Kubernetes gestisce batch di grandi dimensioni senza blocchi. I grafici Helm gestiscono il deployment e la scalabilità su istanze ARM.
Risultati in numeri
99%
Precisione per contenuti audio in inglese e aramaico con applicazione automatica di scrittura corretta e diacritici.
300+
Lavori di trascrizione processati simultaneamente con gestione intelligente della coda e backoff adattivo.
60%
Risparmio attraverso selezione dinamica del modello — modelli più leggeri gestiscono automaticamente i contenuti più brevi.
100%
Nessuna perdita di dati anche durante interruzioni di connessione, con sincronizzazione automatica al ripristino della connessione.
