Servicio de Transcripción Vertex
Resumen del caso
Una plataforma de procesamiento de medios impulsada por IA diseñada para manejar millones de minutos de contenido de audio y vídeo. Toma grabaciones de conferencias educativas — en arameo e inglés — y las convierte en texto limpio y formateado con el guion adecuado, diacríticos, referencias verificadas y subtítulos sincronizados. Cuando llega un archivo de vídeo, el sistema lo detecta automáticamente, extrae la pista de audio y la procesa a través de la misma cadena de transcripción.
Objetivo: Construir una cadena de medios capaz de procesar millones de minutos de contenido y entregar texto listo para publicación, subtítulos y flujos HLS – con el menor trabajo manual posible. Procesar tanto audio como vídeo a través de una única cadena, transcribir contenido multilingüe con alta precisión y escalar dinámicamente en Kubernetes para manejar lotes de más de 300 grabaciones simultáneas.
Información clave del proyecto
Industrias
Plataformas de contenido educativo, instituciones religiosas, publicación de medios, empresas de e-learning, archivos de conferencias, bibliotecas académicas de contenido.
Servicios
Transcripción con IA, procesamiento de vídeo, extracción de audio, codificación HLS multibitrate, generación de subtítulos, orquestación de lotes, verificación de referencias de origen, entrega en almacenamiento en la nube, generación de miniaturas y previsualizaciones.
Soluciones
Cadena unificada de audio y vídeo, detección automática de formato, transcripción multilingüe, conversión de guion con diacríticos, fragmentación basada en silencio, unión de marcas temporales, verificación de referencias religiosas, selección dinámica de modelos de IA.
Tecnologías
Python, FastAPI, Google Vertex AI, Gemini Pro, Gemini Flash, Gemini Flash-Lite, FFmpeg, FFprobe, AWS S3, Google Cloud Storage, Kubernetes, Helm, Docker, Instancias ARM, HLS (m3u8), Python asíncrono, agrupación de conexiones, canalización CI/CD.
Los desafíos
Complejidad del lenguaje mixto
El audio cambia entre arameo, inglés y otros idiomas durante la grabación. Se necesitó una inducción especial de IA y un procesamiento de texto en varios pasos para aplicar correctamente los diacríticos y el formato en todo momento.
Vídeo y audio en una sola cadena
El sistema debía manejar tanto audio puro como contenedores de vídeo. La detección automática basada en FFprobe extrae la pista de audio de cualquier formato de vídeo antes de procesarla — sin intervención del usuario.
Escalabilidad para millones de minutos
Diseñado desde cero para un volumen masivo: completamente asíncrono, paralelizado y nativo de Kubernetes, con una gestión adecuada de recursos para absorber picos en la carga de lotes.
Fragmentación inteligente para audio largo de conferencias
Las conferencias suelen durar más de una hora. La fragmentación basada en detección de silencio divide los archivos naturalmente, mientras que la unión de marcas temporales reconstruye una línea de tiempo continua sin huecos ni solapamientos.
Sistema inteligente de reintentos para cargas de trabajo IA
Cientos de trabajos de IA concurrentes presionan mucho los límites del proveedor. La lógica inteligente de reintento, la espera exponencial adaptativa y la gestión de colas mantienen la cadena en movimiento sin perder trabajos.
Selección de modelo IA para eficiencia de costos
Tres niveles de modelos IA — potente, rápido y ligero — se seleccionan dinámicamente según la longitud y complejidad del contenido, logrando hasta un 60% de reducción en costos de API para contenidos más cortos.
El proceso
Cada archivo—ya sea una conferencia de audio en bruto o una grabación de vídeo completa—pasa por una única cadena automatizada. Ocho etapas secuenciales lo llevan desde la entrada cruda hasta una salida lista para publicación, con el procesamiento de vídeo ejecutándose en paralelo para que nada espere a otra cosa.
Detección y preparación de medios
FFprobe identifica si el archivo es audio o vídeo. Para vídeo, la pista de audio se extrae automáticamente. Luego, el análisis de duración y formato determina la estrategia de procesamiento.
División de audio basada en silencio
Los archivos de más de 20 minutos se dividen en fragmentos en puntos de silencio naturales para que ninguna frase se corte a mitad de oración, permitiendo la transcripción paralela de todas las partes simultáneamente.
Transcripción con IA
Cada fragmento se envía a Gemini Pro o Flash — seleccionado según la longitud del contenido — con un esquema estructurado que obliga al modelo a devolver texto con marcas temporales y etiquetas de orador.
Unión de línea temporal
Todas las piezas transcritas se unen con los desplazamientos temporales correctos en un solo documento continuo, con una alineación de marcas temporales precisa al 99% en toda la grabación.
Posprocesamiento de texto
La transcripción cruda pasa por conversión de guion, aplicación de diacríticos, limpieza de formato y verificación de citas de fuentes religiosas contra una base de datos externa.
Procesamiento de vídeo (paralelo)
Mientras corre la transcripción, el módulo de vídeo maneja la codificación HLS multibitrate, generación de miniaturas, creación de clips de vista previa y manejo de múltiples pistas de audio vía FFmpeg.
Generación de subtítulos y resúmenes
Del texto final verificado se generan archivos de subtítulos sincronizados (.vtt / .srt) junto con un resumen automático de metadatos para la biblioteca de contenido.
Entrega en la nube
Todo — transcripción, subtítulos, resumen, flujos HLS — se sube a AWS S3 con enlaces entregados al equipo de contenido. Retención del 100% de los datos incluso ante cortes de conexión.
Soluciones
Las características clave de la solución
Canal unificado de audio y vídeo — FFprobe detecta formatos automáticamente. Un único punto de entrada gestiona MP4, MKV, WebM, MOV y audio sin conversión manual.
Transcripción AI multilingüe — Maneja grabaciones en inglés, arameo y mezclas de idiomas con indicaciones que preservan los límites lingüísticos y aplican las convenciones correctas del guion.
Selección dinámica de modelo AI — Los niveles Pro, Flash y Flash-Lite se eligen automáticamente según la longitud del archivo y el tipo de contenido — maximizando la precisión mientras se minimizan los gastos de API.
Streaming HLS multi-tasa de bits — El procesamiento paralelo de vídeo produce flujos adaptativos de tasa de bits, miniaturas y clips de vista previa listos para cualquier reproductor de vídeo moderno.
Más de 300 trabajos por lotes concurrentes — Arquitectura asíncrona nativa de Kubernetes maneja grandes lotes sin bloqueos. Los gráficos Helm gestionan el despliegue y escalado en instancias ARM.
Resultados en números
99%
Precisión para contenido de audio en inglés y arameo con guion y diacríticos correctos aplicados automáticamente.
300+
Trabajos de transcripción procesados simultáneamente con gestión inteligente de colas y retroceso adaptativo.
60%
Ahorros mediante selección dinámica de modelo — modelos más ligeros manejan contenido más corto automáticamente.
100%
Cero pérdida de datos incluso durante cortes de conexión, con sincronización automática cuando se restaura la conexión.
