Service Vertex Transcribe
Vue d'ensemble du cas
Une plateforme de traitement des médias alimentée par l'IA conçue pour gérer des millions de minutes de contenu audio et vidéo. Elle prend des enregistrements de cours éducatifs — en araméen et en anglais — et les transforme en texte propre et formaté avec le script approprié, les diacritiques, les références vérifiées et les sous-titres synchronisés. Lorsqu'un fichier vidéo arrive, le système le détecte automatiquement, extrait la piste audio et la fait passer par la même chaîne de transcription.
Objectif : Construire une chaîne médiatique capable de traiter des millions de minutes de contenu et de fournir un texte prêt pour publication, des sous-titres et des flux HLS - avec le moins de travail manuel possible. Traiter à la fois l'audio et la vidéo via une seule chaîne, transcrire du contenu multilingue avec une grande précision, et évoluer dynamiquement sur Kubernetes pour gérer des lots de plus de 300 enregistrements simultanés.
Informations clés sur le projet
Secteurs
Plateformes de contenu éducatif, institutions religieuses, édition médiatique, entreprises d'apprentissage en ligne, archives de conférences, bibliothèques de contenu académique.
Services
Transcription IA, traitement vidéo, extraction audio, codage multi-débits HLS, génération de sous-titres, orchestration de lots, vérification des références sources, livraison stockage cloud, génération de miniatures et aperçus.
Solutions
Chaîne audio/vidéo unifiée, détection automatique du format, transcription multilingue, conversion de script avec diacritiques, découpage basé sur les silences, collage des horodatages, vérification des références religieuses, sélection dynamique du modèle IA.
Technologies
Python, FastAPI, Google Vertex AI, Gemini Pro, Gemini Flash, Gemini Flash-Lite, FFmpeg, FFprobe, AWS S3, Google Cloud Storage, Kubernetes, Helm, Docker, instances ARM, HLS (m3u8), Python asynchrone, gestion de pool de connexions, pipeline CI/CD.
Les défis
Complexité linguistique mixte
L'audio passe de l'araméen à l'anglais et à d'autres langues en cours d'enregistrement. Un prompt IA spécial et un traitement en plusieurs étapes du texte étaient nécessaires pour appliquer correctement les diacritiques et le formatage.
Vidéo et audio dans une seule chaîne
Le système devait gérer à la fois de l'audio pur et des conteneurs vidéo. La détection automatique basée sur FFprobe extrait le flux audio de n'importe quel format vidéo avant traitement — aucune intervention utilisateur requise.
Échelle pour des millions de minutes
Conçu dès le départ pour de gros volumes : entièrement asynchrone, parallélisé et natif Kubernetes avec gestion appropriée des ressources pour absorber les pics de charge.
Découpage intelligent pour les longs audios de conférence
Les conférences durent souvent plus d'une heure. Le découpage par détection de silence divise naturellement les fichiers, tandis que le collage des horodatages reconstitue une chronologie continue sans lacunes ni chevauchements.
Système de réessai intelligent pour charges IA
Des centaines de tâches IA simultanées poussent les limites des fournisseurs. Une logique de réessai intelligente, un recul exponentiel adaptatif et la gestion des files d'attente maintiennent le pipeline en mouvement sans perte de tâches.
Sélection de modèle IA pour efficacité des coûts
Trois niveaux de modèles IA — puissants, rapides et légers — sont sélectionnés dynamiquement en fonction de la longueur et de la complexité du contenu, offrant jusqu'à 60 % de réduction des coûts API sur les contenus courts.
Le processus
Chaque fichier — qu'il s'agisse d'un cours audio brut ou d'un enregistrement vidéo complet — passe par une seule chaîne automatisée. Huit étapes successives le mènent de l'entrée brute à la sortie prête à publication, avec le traitement vidéo en parallèle pour ne rien faire attendre sur autre chose.
Détection et préparation des médias
FFprobe identifie si le fichier est audio ou vidéo. Pour la vidéo, la piste audio est extraite automatiquement. L'analyse de la durée et du format détermine ensuite la stratégie de traitement.
Découpage audio basé sur le silence
Les fichiers de plus de 20 minutes sont découpés en segments aux points de silence naturels afin qu'aucune phrase ne soit coupée en plein milieu, permettant la transcription parallèle de toutes les parties simultanément.
Transcription IA
Chaque segment est envoyé à Gemini Pro ou Flash — sélectionné selon la longueur du contenu — avec un schéma structuré qui force le modèle à retourner un texte horodaté avec étiquettes de locuteur.
Fusion de la chronologie
Tous les segments transcrits sont recollés avec les décalages horaires corrects en un seul document fluide, avec un alignement des horodatages précis à 99 % sur l'enregistrement complet.
Post-traitement du texte
La transcription brute passe par la conversion de script, l'application des diacritiques, le nettoyage du formatage et la vérification des citations de sources religieuses contre une base externe.
Traitement vidéo (parallèle)
Pendant que la transcription s'exécute, le module vidéo gère le codage multi-débits HLS, la génération de miniatures, la création de clips de prévisualisation et la gestion des flux audio multiples via FFmpeg.
Génération de sous-titres et résumé
À partir du texte final vérifié, des fichiers de sous-titres synchronisés (.vtt / .srt) sont générés parallèlement à un résumé automatique des métadonnées pour la bibliothèque de contenu.
Livraison Cloud
Tout — transcription, sous-titres, résumé, flux HLS — est téléchargé sur AWS S3 avec des liens remis à l'équipe de contenu. Conservation des données à 100 % même en cas de coupures de connexion.
Solutions
Les principales caractéristiques de la solution
Chaîne audio et vidéo unifiée — FFprobe détecte automatiquement les formats. Un point d'entrée unique gère les MP4, MKV, WebM, MOV et l'audio sans conversion manuelle.
Transcription IA multilingue — Traite les enregistrements en anglais, araméen et en langues mixtes avec un guidage qui préserve les limites linguistiques et applique les conventions correctes d'écriture.
Sélection dynamique du modèle IA — Les niveaux Pro, Flash et Flash-Lite sont choisis automatiquement en fonction de la durée du fichier et du type de contenu — maximisant la précision tout en minimisant les coûts API.
Streaming HLS à multiples débits — Le traitement vidéo en parallèle produit des flux à débit adaptatif, des vignettes et des clips d’aperçu prêts pour tout lecteur vidéo moderne.
Plus de 300 tâches par lot simultanées — L’architecture asynchrone native Kubernetes gère de gros lots sans blocage. Les charts Helm gèrent le déploiement et la montée en charge sur des instances ARM.
Résultats en chiffres
99 %
Précision pour le contenu audio en anglais et en araméen avec application automatique du script et des diacritiques corrects.
300+
Tâches de transcription traitées simultanément avec gestion intelligente de la file d’attente et temporisation adaptative.
60 %
Économies grâce à la sélection dynamique des modèles — les modèles légers gèrent automatiquement les contenus plus courts.
100 %
Aucune perte de données même en cas de coupure de connexion, avec synchronisation automatique lors du rétablissement.
