Serviço Vertex Transcribe
Visão geral do caso
Uma plataforma de processamento de mídia alimentada por IA concebida para lidar com milhões de minutos de conteúdo áudio e vídeo. Transforma gravações de palestras educativas — em Aramaico e Inglês — em texto limpo e formatado com script correto, diacríticos, referências verificadas e legendas temporizadas. Quando um ficheiro de vídeo chega, o sistema deteta-o automaticamente, extrai a faixa de áudio e encaminha-a pelo mesmo pipeline de transcrição.
Objetivo: Construir um pipeline de mídia capaz de processar milhões de minutos de conteúdo e fornecer texto pronto para publicação, legendas e fluxos HLS — com o mínimo de trabalho manual possível. Processar áudio e vídeo através de um único pipeline, transcrever conteúdo multilíngue com alta precisão, e escalar dinamicamente em Kubernetes para lidar com lotes de mais de 300 gravações concorrentes.
Informações-chave do projeto
Indústrias
Plataformas de Conteúdo Educativo, Instituições Religiosas, Publicação de Mídia, Empresas de E-Learning, Arquivos de Palestras, Bibliotecas de Conteúdo Acadêmico.
Serviços
Transcrição por IA, Processamento de Vídeo, Extração de Áudio, Codificação HLS Multi-Bitrate, Geração de Legendas, Orquestração de Lotes, Verificação de Referências de Fonte, Entrega via Armazenamento na Nuvem, Geração de Miniaturas e Pré-visualizações.
Soluções
Pipeline Unificado de Áudio/Vídeo, Detecção Automática de Formato, Transcrição Multilíngue, Conversão de Script com Diacríticos, Segmentação Baseada em Silêncio, Junção de Registros Temporais, Verificação de Referências Religiosas, Seleção Dinâmica de Modelos de IA.
Tecnologias
Python, FastAPI, Google Vertex AI, Gemini Pro, Gemini Flash, Gemini Flash-Lite, FFmpeg, FFprobe, AWS S3, Google Cloud Storage, Kubernetes, Helm, Docker, Instâncias ARM, HLS (m3u8), Python Assíncrono, Connection Pooling, Pipeline CI/CD.
Os desafios
Complexidade de Linguagem Mista
O áudio alterna entre Aramaico, Inglês e outras línguas durante a gravação. Foi necessário um prompting especial de IA e processamento de texto em múltiplas etapas para aplicar os diacríticos e formatação corretos ao longo de todo o conteúdo.
Vídeo e Áudio Num Só Pipeline
O sistema teve que lidar tanto com áudio puro como com contentores de vídeo. A deteção automática baseada em FFprobe extrai a faixa de áudio de qualquer formato de vídeo antes do processamento — sem intervenção do utilizador.
Escalabilidade para Milhões de Minutos
Concebido desde o início para volume massivo: totalmente assíncrono, paralelo e nativo Kubernetes com gestão adequada de recursos para absorver picos na carga de lotes.
Segmentação Inteligente para Áudio de Palestras Longas
As palestras frequentemente excedem uma hora. A segmentação baseada em deteção de silêncio divide os ficheiros naturalmente, enquanto a junção dos timestamps reconstrói uma linha temporal contínua sem lacunas ou sobreposições.
Sistema Inteligente de Retentativa para Cargas de Trabalho de IA
Centenas de trabalhos de IA concorrentes pressionam os limites do fornecedor. A lógica inteligente de retentativa, recuo exponencial adaptativo e gestão da fila mantêm o pipeline em movimento sem perdas de trabalhos.
Seleção de Modelos de IA para Eficiência de Custos
Três níveis de modelos de IA — poderoso, rápido e leve — são selecionados dinamicamente com base no comprimento e complexidade do conteúdo, proporcionando até 60% de redução nos custos de API para conteúdos mais curtos.
O processo
Cada ficheiro — quer seja uma palestra áudio bruta ou uma gravação de vídeo completa — passa por um único pipeline automatizado. Oito etapas sequenciais levam-no da entrada bruta à saída pronta para publicação, com o processamento de vídeo a correr em paralelo para que nada espere por outra coisa.
Deteção e Preparação de Mídia
O FFprobe identifica se o ficheiro é áudio ou vídeo. No caso de vídeo, a faixa de áudio é extraída automaticamente. A análise de duração e formato determina então a estratégia de processamento.
Segmentação de Áudio baseada em Silêncio
Ficheiros com mais de 20 minutos são divididos em segmentos nos pontos de silêncio naturais para que nenhuma frase seja cortada a meio, permitindo transcrição paralela de todas as partes simultaneamente.
Transcrição por IA
Cada segmento é enviado para Gemini Pro ou Flash — selecionado pelo comprimento do conteúdo — com um esquema estruturado que obriga o modelo a devolver texto timestamped com etiquetas de locutor.
Junção da Linha Temporal
Todas as partes transcritas são unidas com os deslocamentos temporais corretos num único documento contínuo, com alinhamento de timestamps com 99% de precisão por toda a gravação.
Pós-Processamento de Texto
A transcrição bruta passa por conversão de script, aplicação de diacríticos, limpeza de formatação e verificação de citações de fontes religiosas contra uma base de dados externa.
Processamento de Vídeo (Paralelo)
Enquanto decorre a transcrição, o módulo de vídeo trata da codificação HLS multi-bitrate, geração de miniaturas, criação de clips de pré-visualização e gestão de múltiplas faixas de áudio via FFmpeg.
Geração de Legendas e Resumo
A partir do texto final verificado, são gerados ficheiros de legendas temporizadas (.vtt / .srt) juntamente com um resumo automático de metadados para a biblioteca de conteúdos.
Entrega na Nuvem
Tudo — transcrição, legendas, resumo, fluxos HLS — é carregado para AWS S3 com links entregues à equipa de conteúdo. Retenção de dados a 100% mesmo em caso de falhas de ligação.
Soluções
As principais características da solução
Pipeline Unificado de Áudio e Vídeo — FFprobe deteta automaticamente os formatos. Um único ponto de entrada trata MP4, MKV, WebM, MOV e áudio sem conversão manual.
Transcrição de IA Multi-Idioma — Trata gravações em Inglês, Aramaico e idiomas mistos com prompts que preservam os limites linguísticos e aplicam as convenções corretas de escrita.
Seleção Dinâmica de Modelo de IA — Os níveis Pro, Flash, e Flash-Lite são escolhidos automaticamente pelo comprimento do ficheiro e tipo de conteúdo — maximizando a precisão enquanto minimiza os custos da API.
Streaming HLS Multi-Bitrate — O processamento de vídeo paralelo produz streams de bit rate adaptativo, miniaturas e clipes de pré-visualização prontos para qualquer leitor de vídeo moderno.
300+ Trabalhos em Lote Concorrentes — A arquitectura assíncrona nativa Kubernetes trata grandes lotes sem bloqueio. Os charts Helm gerem o deployment e a escalabilidade em instâncias ARM.
Resultados em números
99%
Precisão para conteúdo áudio em Inglês e Aramaico com aplicação automática do script e dos diacríticos corretos.
300+
Trabalhos de transcrição processados simultaneamente com gestão inteligente da fila e retrocesso adaptativo.
60%
Poupanças através da selecção dinâmica do modelo — modelos mais leves tratam automaticamente conteúdos mais curtos.
100%
Perda zero de dados mesmo durante quedas de ligação, com sincronização automática quando a ligação é restabelecida.
