Servicio Vertex Transcribe
Resumen del caso
Una plataforma de procesamiento de medios impulsada por IA diseñada para manejar millones de minutos de contenido de audio y video. Toma grabaciones de conferencias educativas — en arameo e inglés — y las convierte en texto limpio y formateado con guion adecuado, diacríticos, referencias verificadas y subtítulos sincronizados. Cuando llega un archivo de video, el sistema lo detecta automáticamente, extrae la pista de audio y la enruta a través de la misma cadena de transcripción.
Objetivo: Construir una canalización de medios capaz de procesar millones de minutos de contenido y entregar texto listo para publicación, subtítulos y secuencias HLS – con el mínimo trabajo manual posible. Procesar tanto audio como video a través de una sola cadena, transcribir contenido multilingüe con alta precisión y escalar dinámicamente en Kubernetes para manejar lotes de más de 300 grabaciones concurrentes.
Información clave del proyecto
Industrias
Plataformas de Contenido Educativo, Instituciones Religiosas, Publicación de Medios, Empresas de E-Learning, Archivos de Conferencias, Bibliotecas de Contenido Académico.
Servicios
Transcripción con IA, Procesamiento de Video, Extracción de Audio, Codificación HLS Multi-Bitrate, Generación de Subtítulos, Orquestación por Lotes, Verificación de Referencias de Fuente, Entrega mediante Almacenamiento en la Nube, Generación de Miniaturas y Vistas Previas.
Soluciones
Canalización Unificada de Audio/Video, Detección Automática de Formato, Transcripción Multilingüe, Conversión de Guion con Diacríticos, Fragmentación Basada en Silencios, Unión de Marcas de Tiempo, Verificación de Referencias Religiosas, Selección Dinámica de Modelos de IA.
Tecnologías
Python, FastAPI, Google Vertex AI, Gemini Pro, Gemini Flash, Gemini Flash-Lite, FFmpeg, FFprobe, AWS S3, Google Cloud Storage, Kubernetes, Helm, Docker, Instancias ARM, HLS (m3u8), Python Async, Pool de Conexiones, Pipeline CI/CD.
Los desafíos
Complejidad de Idiomas Mixtos
El audio cambia entre arameo, inglés y otros idiomas a mitad de la grabación. Se necesitó un prompting especial de IA y un procesamiento de texto en varios pasos para aplicar correctamente diacríticos y formato a lo largo de todo el contenido.
Video y Audio en una sola Cadena
El sistema debió manejar tanto audio puro como contenedores de video. La autodetección basada en FFprobe extrae la pista de audio de cualquier formato de video antes del procesamiento — sin intervención del usuario requerida.
Escalar para Millones de Minutos
Diseñado desde cero para un volumen masivo: completamente asíncrono, paralelo y nativo de Kubernetes con manejo adecuado de recursos para absorber picos en la carga de lotes.
Fragmentación Inteligente para Audio Largo de Conferencias
Las conferencias suelen superar una hora. La fragmentación basada en detección de silencio divide los archivos de forma natural, mientras que la unión de marcas de tiempo reconstruye una línea temporal continua sin saltos ni superposiciones.
Sistema Inteligente de Reintentos para Cargas de Trabajo de IA
Cientos de trabajos concurrentes de IA exigen mucho a los límites del proveedor. La lógica inteligente de reintentos, retroceso exponencial adaptativo y gestión de cola mantienen el pipeline en movimiento sin perder trabajos.
Selección de Modelos de IA para Eficiencia de Costos
Tres niveles de modelos de IA — potente, rápido y liviano — se seleccionan dinámicamente según la longitud y complejidad del contenido, lo que ofrece hasta un 60% de reducción en los costos de API en contenidos más cortos.
El proceso
Cada archivo — ya sea una conferencia de audio sin procesar o una grabación de video completa — pasa por una única cadena automatizada. Ocho etapas secuenciales lo llevan desde la entrada sin procesar hasta la salida lista para publicación, mientras que el procesamiento de video se ejecuta en paralelo para que nada espere a otra cosa.
Detección y Preparación de Medios
FFprobe identifica si el archivo es audio o video. Para video, la pista de audio se extrae automáticamente. El análisis de duración y formato determina luego la estrategia de procesamiento.
División de Audio Basada en Silencios
Los archivos de más de 20 minutos se dividen en fragmentos en puntos de silencio natural para que ninguna frase quede cortada a la mitad, permitiendo la transcripción paralela de todas las partes simultáneamente.
Transcripción con IA
Cada fragmento se envía a Gemini Pro o Flash — seleccionado según la longitud del contenido — con un esquema estructurado que obliga al modelo a devolver texto con marcas de tiempo y etiquetas de hablante.
Unión de la Línea Temporal
Todas las piezas transcritas se cosen con desplazamientos de tiempo correctos en un solo documento continuo, con una alineación de marcas de tiempo precisa al 99% en toda la grabación.
Postprocesamiento de Texto
La transcripción cruda pasa por conversión de guion, aplicación de diacríticos, limpieza de formato y verificación de citas de fuentes religiosas contra una base de datos externa.
Procesamiento de Video (Paralelo)
Mientras la transcripción se ejecuta, el módulo de video maneja codificación HLS multi-tasa, generación de miniaturas, creación de clips de previsualización y manejo de múltiples pistas de audio via FFmpeg.
Generación de Subtítulos y Resumen
A partir del texto final verificado, se generan archivos de subtítulos sincronizados (.vtt / .srt) junto con un resumen automático de metadatos para la biblioteca de contenido.
Entrega en la Nube
Todo — transcripción, subtítulos, resumen, secuencias HLS — se carga a AWS S3 con enlaces entregados al equipo de contenido. Retención del 100% de datos incluso ante caídas de conexión.
Soluciones
Las características clave de la solución
Canalización Unificada de Audio y Video — FFprobe detecta formatos automáticamente. Un único punto de entrada maneja MP4, MKV, WebM, MOV y audio sin conversión manual.
Transcripción IA Multilingüe — Maneja grabaciones en inglés, arameo y en idiomas mixtos con indicaciones que preservan los límites del idioma y aplican las convenciones correctas del guion.
Selección Dinámica de Modelo IA — Los niveles Pro, Flash y Flash-Lite se eligen automáticamente según la longitud del archivo y el tipo de contenido — maximizando la precisión mientras se minimizan los costos de API.
Transmisión HLS Multi-Bitrate — El procesamiento paralelo de vídeo produce flujos de bitrate adaptativo, miniaturas y clips de vista previa listos para cualquier reproductor de vídeo moderno.
Más de 300 trabajos por lotes concurrentes — La arquitectura asíncrona nativa de Kubernetes maneja grandes lotes sin bloqueo. Los charts de Helm gestionan el despliegue y escalado en instancias ARM.
Resultados en números
99%
Precisión para contenido de audio en inglés y arameo con guion correcto y signos diacríticos aplicados automáticamente.
300+
Trabajos de transcripción procesados simultáneamente con gestión inteligente de colas y retroceso adaptativo.
60%
Ahorros mediante selección dinámica de modelos — modelos más ligeros manejan contenido corto automáticamente.
100%
Cero pérdida de datos incluso durante caídas de conexión, con sincronización automática al restaurarse la conexión.
