Service de Transcription Vertex
Résumé du cas
Une plateforme de traitement média alimentée par l'IA conçue pour gérer des millions de minutes de contenu audio et vidéo. Elle prend des enregistrements de conférences éducatives — en araméen et en anglais — et les transforme en texte propre et formaté avec un script approprié, des diacritiques, des références vérifiées et des sous-titres synchronisés. Lorsqu’un fichier vidéo arrive, le système le détecte automatiquement, extrait la piste audio et la dirige via la même chaîne de transcription.
Objectif : Construire une chaîne média capable de traiter des millions de minutes de contenu et de livrer un texte prêt pour publication, des sous-titres et des flux HLS — avec le moins de travail manuel possible. Traiter à la fois l’audio et la vidéo via une seule chaîne, transcrire un contenu multilingue avec une grande précision et monter en charge dynamiquement sur Kubernetes pour gérer des lots de plus de 300 enregistrements simultanés.
Informations clés sur le projet
Secteurs
Plateformes de contenu éducatif, institutions religieuses, édition médiatique, entreprises d'apprentissage en ligne, archives de conférences, bibliothèques de contenu académique.
Services
Transcription IA, traitement vidéo, extraction audio, encodage multi-débit HLS, génération de sous-titres, orchestration de lots, vérification des références sources, livraison via stockage cloud, génération de vignettes et aperçus.
Solutions
Chaîne unifiée audio/vidéo, détection automatique du format, transcription multilingue, conversion de script avec diacritiques, découpage basé sur les silences, assemblage des horodatages, vérification des références religieuses, sélection dynamique du modèle IA.
Technologies
Python, FastAPI, Google Vertex AI, Gemini Pro, Gemini Flash, Gemini Flash-Lite, FFmpeg, FFprobe, AWS S3, Google Cloud Storage, Kubernetes, Helm, Docker, Instances ARM, HLS (m3u8), Python asynchrone, gestion de pool de connexions, pipeline CI/CD.
Les défis
Complexité linguistique mixte
L’audio bascule entre l’araméen, l’anglais et d’autres langues en cours d’enregistrement. Une stimulation IA spéciale et un traitement textuel en plusieurs étapes étaient nécessaires pour appliquer correctement les diacritiques et la mise en forme.
Vidéo et audio dans une seule chaîne
Le système devait gérer à la fois des fichiers audio purs et des conteneurs vidéo. La détection automatique basée sur FFprobe extrait la piste audio de tout format vidéo avant traitement — sans intervention utilisateur requise.
Montée en charge pour des millions de minutes
Conçu dès le départ pour un volume massif : entièrement asynchrone, parallélisé et natif Kubernetes avec une gestion appropriée des ressources pour absorber les pics de charge de lots.
Découpage intelligent pour les longs enregistrements de conférences audio
Les conférences dépassent souvent une heure. Le découpage par détection de silence divise naturellement les fichiers, tandis que l’assemblage des horodatages reconstitue une timeline continue sans trous ni chevauchements.
Système de réessai intelligent pour les charges IA
Des centaines de tâches IA simultanées poussent les limites du fournisseur. La logique de réessai intelligente, le backoff exponentiel adaptatif et la gestion de file d’attente maintiennent la chaîne en mouvement sans perte de tâche.
Sélection de modèle IA pour efficacité des coûts
Trois niveaux de modèles IA — puissant, rapide et léger — sont sélectionnés dynamiquement selon la longueur et la complexité du contenu, réduisant jusqu’à 60 % les coûts API sur les contenus courts.
Le processus
Chaque fichier — qu’il s’agisse d’une conférence audio brute ou d’un enregistrement vidéo complet — passe par une chaîne automatisée unique. Huit étapes séquentielles le mènent de l’entrée brute à la sortie prête pour publication, avec un traitement vidéo parallèle pour que rien n’attende.
Détection et préparation des médias
FFprobe identifie si le fichier est audio ou vidéo. Pour la vidéo, la piste audio est extraite automatiquement. L’analyse de la durée et du format détermine ensuite la stratégie de traitement.
Découpage audio basé sur le silence
Les fichiers de plus de 20 minutes sont découpés en segments aux points de silence naturel pour qu’aucune phrase ne soit interrompue, permettant une transcription parallèle sur tous les morceaux simultanément.
Transcription IA
Chaque segment est envoyé à Gemini Pro ou Flash — sélectionné selon la longueur du contenu — avec un schéma structuré qui force le modèle à retourner un texte horodaté avec les étiquettes des locuteurs.
Assemblage de la chronologie
Toutes les parties transcrites sont recousues avec les décalages horaires corrects en un document fluide, avec un alignement des horodatages précis à 99 % sur l’enregistrement complet.
Post-traitement du texte
La transcription brute passe par la conversion du script, l’application des diacritiques, le nettoyage de la mise en forme et la vérification des citations de sources religieuses via une base de données externe.
Traitement vidéo (parallèle)
Pendant que la transcription est en cours, le module vidéo gère l’encodage multi-débit HLS, la génération de vignettes, la création de clips d’aperçu et la gestion multi-pistes audio via FFmpeg.
Génération de sous-titres et résumés
À partir du texte final vérifié, des fichiers de sous-titres temporisés (.vtt / .srt) sont générés, ainsi qu’un résumé automatique des métadonnées pour la bibliothèque de contenu.
Livraison cloud
Tout — transcription, sous-titres, résumé, flux HLS — est téléversé sur AWS S3 avec des liens remis à l’équipe de contenu. Rétention totale des données même lors de coupures de connexion.
Solutions
Les principales fonctionnalités de la solution
Pipeline audio et vidéo unifiée — FFprobe détecte automatiquement les formats. Un point d'entrée unique prend en charge MP4, MKV, WebM, MOV et l'audio sans conversion manuelle.
Transcription multilingue par IA — Prend en charge les enregistrements en anglais, araméen, et les enregistrements multilingues avec une incitation qui préserve les frontières linguistiques et applique les conventions de script correctes.
Sélection dynamique du modèle IA — Les niveaux Pro, Flash et Flash-Lite sont choisis automatiquement selon la longueur du fichier et le type de contenu — maximisant la précision tout en minimisant les coûts API.
Streaming HLS multi-débit — Le traitement vidéo parallèle produit des flux à débit adaptatif, des miniatures et des clips de prévisualisation prêts pour n'importe quel lecteur vidéo moderne.
300+ travaux de traitement par lots simultanés — L'architecture asynchrone native Kubernetes gère les gros lots sans blocage. Les graphiques Helm gèrent le déploiement et la montée en charge sur des instances ARM.
Résultats en chiffres
99%
Précision pour l'audio en anglais et en araméen avec application automatique correcte du script et des diacritiques.
300+
Travaux de transcription traités simultanément avec gestion intelligente de la file d'attente et temporisation adaptative.
60%
Économies grâce à la sélection dynamique du modèle — les modèles plus légers gèrent automatiquement les contenus plus courts.
100%
Zéro perte de données même lors de coupures de connexion, avec synchronisation automatique lorsque la connexion est rétablie.
