Serviço de Transcrição Vertex
Visão geral do caso
Uma plataforma de processamento de mídia alimentada por IA, projetada para lidar com milhões de minutos de conteúdo de áudio e vídeo. Processa gravações de palestras educativas — em aramaico e inglês — e transforma-as em texto limpo e formatado com script adequado, diacríticos, referências verificadas e legendas temporizadas. Quando um ficheiro de vídeo chega, o sistema deteta-o automaticamente, extrai a faixa de áudio e a encaminha pela mesma pipeline de transcrição.
Objetivo: Construir uma pipeline de mídia capaz de processar milhões de minutos de conteúdo e entregar texto pronto para publicação, legendas e fluxos HLS - com o mínimo de trabalho manual possível. processar áudio e vídeo através de uma única pipeline, transcrever conteúdo multilíngue com alta precisão e escalar dinamicamente no Kubernetes para lidar com lotes de 300+ gravações simultâneas.
Principais informações do projeto
Indústrias
Plataformas de Conteúdo Educativo, Instituições Religiosas, Publicação de Media, Empresas de E-Learning, Arquivos de Palestras, Bibliotecas de Conteúdo Académico.
Serviços
Transcrição de IA, Processamento de Vídeo, Extração de Áudio, Codificação HLS Multi-Bitrate, Geração de Legendas, Orquestração por Lotes, Verificação de Referências de Fonte, Entrega em Armazenamento na Nuvem, Geração de Miniaturas e Pré-visualizações.
Soluções
Pipeline Unificado de Áudio/Vídeo, Detecção Automática de Formato, Transcrição Multilíngue, Conversão de Script com Diacríticos, Segmentação Baseada em Silêncio, Montagem de Marcação Temporal, Verificação de Referências Religiosas, Seleção Dinâmica de Modelos de IA.
Tecnologias
Python, FastAPI, Google Vertex AI, Gemini Pro, Gemini Flash, Gemini Flash-Lite, FFmpeg, FFprobe, AWS S3, Google Cloud Storage, Kubernetes, Helm, Docker, Instâncias ARM, HLS (m3u8), Python Assíncrono, Pooling de Conexões, Pipeline CI/CD.
Os desafios
Complexidade Multilíngue
O áudio alterna entre aramaico, inglês e outras línguas durante a gravação. Foi necessário um prompting especial de IA e um processamento de texto em vários passos para aplicar os diacríticos e a formatação corretos ao longo de todo o conteúdo.
Vídeo e Áudio numa Só Pipeline
O sistema teve de lidar tanto com áudio puro como com contêineres de vídeo. A deteção automática baseada em FFprobe extrai a faixa de áudio de qualquer formato de vídeo antes do processamento — sem necessidade de intervenção do utilizador.
Escalar para Milhões de Minutos
Projetado desde o início para volume massivo: totalmente assíncrono, paralelizado e nativo do Kubernetes com gestão adequada de recursos para absorver picos na carga de lotes.
Segmentação Inteligente para Áudio de Longas Palestras
As palestras frequentemente excedem uma hora. A segmentação por deteção de silêncio divide os ficheiros naturalmente, enquanto a montagem de marcação temporal reconstrói uma linha temporal contínua e fluida sem lacunas ou sobreposições.
Sistema Inteligente de Tentativas para Cargas de Trabalho de IA
Centenas de trabalhos de IA simultâneos pressionam ao máximo os limites do fornecedor. A lógica inteligente de tentativas, retrocesso exponencial adaptativo e gestão de filas mantêm a pipeline a funcionar sem trabalhos perdidos.
Seleção de Modelo de IA para Eficiência de Custos
Três níveis de modelos de IA — poderoso, rápido e leve — são selecionados dinamicamente com base no comprimento e complexidade do conteúdo, oferecendo até 60% de redução nos custos da API para conteúdos mais curtos.
O processo
Cada ficheiro — seja uma palestra em áudio bruto ou uma gravação de vídeo completa — passa por uma única pipeline automatizada. Oito etapas sequenciais levam-no do input bruto ao output pronto para publicação, com o processamento de vídeo a correr em paralelo para que nada espere por nada.
Deteção e Preparação de Media
FFprobe identifica se o ficheiro é áudio ou vídeo. No caso de vídeo, a faixa de áudio é automaticamente extraída. A análise de duração e formato determina então a estratégia de processamento.
Divisão de Áudio Baseada em Silêncio
Ficheiros com mais de 20 minutos são divididos em segmentos nos pontos de silêncio naturais para que nenhuma frase seja cortada a meio, permitindo a transcrição paralela simultânea de todas as partes.
Transcrição de IA
Cada segmento é enviado para Gemini Pro ou Flash — selecionado pelo comprimento do conteúdo — com um esquema estruturado que força o modelo a devolver texto carimbado com etiquetas de orador.
Fusão da Linha Temporal
Todas as partes transcritas são costuradas novamente com compensações temporais corretas numa só documento fluido, com alinhamento de carimbos temporais com 99% de precisão ao longo da gravação completa.
Pós-Processamento de Texto
A transcrição bruta passa por conversão de script, aplicação de diacríticos, limpeza de formatação e verificação de citações de fontes religiosas contra uma base de dados externa.
Processamento de Vídeo (Paralelo)
Enquanto a transcrição decorre, o módulo de vídeo trata da codificação HLS multi-bitrate, geração de miniaturas, criação de clipes de pré-visualização e gestão de múltiplas faixas de áudio via FFmpeg.
Geração de Legendas e Sumário
A partir do texto final verificado, ficheiros de legendas temporizadas (.vtt / .srt) são gerados juntamente com um sumário automático de metadados para a biblioteca de conteúdo.
Entrega na Nuvem
Tudo — transcrição, legendas, sumário, fluxos HLS — é carregado para AWS S3 com links entregues à equipa de conteúdo. 100% de retenção de dados mesmo durante quedas de ligação.
Soluções
As principais características da solução
Pipeline Unificado de Áudio e Vídeo — O FFprobe detecta formatos automaticamente. Um único ponto de entrada trata MP4, MKV, WebM, MOV e áudio sem conversão manual.
Transcrição AI Multi-Idioma — Trata gravações em Inglês, Aramaico e línguas mistas com orientação que preserva os limites das línguas e aplica convenções corretas de escrita.
Seleção Dinâmica de Modelo AI — Os níveis Pro, Flash e Flash-Lite são escolhidos automaticamente pelo comprimento do ficheiro e tipo de conteúdo — maximizando a precisão enquanto minimiza o uso da API.
Streaming HLS Multi-Bitrate — O processamento de vídeo paralelo produz streams de bitrate adaptativo, miniaturas e clips de pré-visualização prontos para qualquer leitor de vídeo moderno.
300+ Tarefas Batch Concorrentes — A arquitetura assíncrona nativa Kubernetes gere lotes grandes sem bloqueios. Charts Helm gerem o deployment e a escalabilidade em instâncias ARM.
Resultados em números
99%
Precisão para conteúdo áudio em Inglês e Aramaico com escrita correta e diacríticos aplicados automaticamente.
300+
Tarefas de transcrição processadas simultaneamente com gestão inteligente de filas e retrocesso adaptativo.
60%
Poupanças através da seleção dinâmica de modelo — modelos mais leves tratam automaticamente conteúdos mais curtos.
100%
Nenhuma perda de dados mesmo durante falhas de ligação, com sincronização automática quando a ligação é restabelecida.
