Сервіс транскрипції Vertex
Огляд кейсу
Платформа обробки медіа на основі штучного інтелекту, призначена для роботи з мільйонами хвилин аудіо- та відеоконтенту. Вона обробляє записи освітніх лекцій — арамейською та англійською мовами — і перетворює їх у чистий, відформатований текст з правильною транскрипцією, діакритиками, перевіреними посиланнями та синхронізованими субтитрами. Коли надходить відеофайл, система автоматично його виявляє, витягує звукову доріжку і пропускає через ту ж транскрипційну лінію.
Ціль: Створити медіапроцесорну лінію, здатну обробляти мільйони хвилин контенту та надавати готовий до публікації текст, субтитри та HLS-потоки з мінімальним ручним втручанням. Обробляти аудіо та відео через єдину лінію, транскрибувати багатомовний контент з високою точністю та масштабувати динамічно на Kubernetes для обробки пакетів з понад 300 одночасними записами.
Основна інформація про проект
Галузі
Платформи освітнього контенту, релігійні установи, медіавидавництва, компанії електронного навчання, архіви лекцій, академічні бібліотеки контенту.
Послуги
Транскрипція на основі штучного інтелекту, обробка відео, витяг аудіо, багатопотокове кодування HLS, генерація субтитрів, оркестрування пакетів, перевірка джерел, доставка через хмарне сховище, створення мініатюр та прев’ю.
Рішення
Уніфікована лінія обробки аудіо/відео, автоматичне визначення формату, багатомовна транскрипція, конвертація сценарію з діакритиками, розбиття на частини за тишею, зшивання часових позначок, перевірка релігійних посилань, динамічний вибір моделей ШІ.
Технології
Python, FastAPI, Google Vertex AI, Gemini Pro, Gemini Flash, Gemini Flash-Lite, FFmpeg, FFprobe, AWS S3, Google Cloud Storage, Kubernetes, Helm, Docker, ARM Instances, HLS (m3u8), Async Python, Connection Pooling, CI/CD Pipeline.
Виклики
Складність змішаних мов
Аудіо переходить між арамейською, англійською та іншими мовами під час запису. Потрібен був спеціальний ШІ-промптинг та багатокрокова обробка тексту для застосування правильних діакритиків та форматування.
Відео та аудіо в одній лінії обробки
Система мала обробляти і чисте аудіо, і відеоконтейнери. Автовизначення на основі FFprobe витягує аудіопотік з будь-якого відеоформату перед обробкою — без потреби втручання користувача.
Масштабування на мільйони хвилин
Розроблено з нуля для великого обсягу: повністю асинхронно, паралельно та Kubernetes-native з правильним керуванням ресурсами для поглинання пікових навантажень.
Розумне розбиття на частини для довгого аудіо лекцій
Лекції часто тривають понад годину. Розбиття за виявленням тиші природно розділяє файли без обрізки фраз посередині речення, а зшивання часових позначок створює безперервну хронологію без прогалин і накладень.
Розумна система повторних спроб для навантажень ШІ
Сотні одночасних ШІ-запитів сильно навантажують провайдера. Розумна логіка повтору, адаптивний експоненційний відкат і керування чергою забезпечують безперебійну роботу без втрати завдань.
Вибір моделі ШІ для економії коштів
Три рівні моделей ШІ — потужна, швидка та легка — вибираються динамічно залежно від довжини та складності контенту, забезпечуючи до 60% економії API на коротшому контенті.
Процес
Кожен файл — незалежно від того, це необроблений аудіолекція чи повний відеозапис — проходить через єдину автоматизовану лінію обробки. Вісім послідовних етапів перетворюють його з необробленого входу до виходу, готового до публікації, а відео обробляється паралельно, щоб нічого не чекало один на одного.
Виявлення та підготовка медіа
FFprobe визначає, чи є файл аудіо чи відео. Для відео автоматично витягується звукова доріжка. Аналіз тривалості та формату визначає стратегію обробки.
Розбиття аудіо за тишею
Файли довше 20 хвилин розбиваються на частини у природніх точках тиші, щоб жодна фраза не була обрізана посеред речення, що дозволяє паралельну транскрипцію всіх частин одночасно.
Транскрипція на основі ШІ
Кожна частина надсилається на Gemini Pro або Flash — вибір залежить від довжини контенту — зі структурованою схемою, яка зобов’язує модель повертати текст із часовими позначками та позначками доповідачів.
Об’єднання часових ліній
Всі транскрибовані частини зшиваються назад з правильними часовими зсувами в один безшовний документ з 99% точною синхронізацією часових позначок по всьому запису.
Постобробка тексту
Сирий текст транскрипції проходить конвертацію сценарію, застосування діакритиків, очищення форматування та перевірку релігійних джерел у зовнішній базі даних.
Обробка відео (паралельно)
Поки триває транскрипція, відеомодуль виконує багатопотокове кодування HLS, створення мініатюр, генерацію прев’ю та обробку кількох аудіопотоків через FFmpeg.
Генерація субтитрів та резюме
На основі фінального перевіреного тексту генеруються файли субтитрів з часовими позначками (.vtt / .srt) разом із автоматичним метаданим для бібліотеки контенту.
Доставка у хмару
Весь контент — транскрипції, субтитри, резюме, HLS потоки — завантажується на AWS S3 з наданням посилань команді контенту. 100% збереження даних навіть при розриві з’єднання.
Рішення
Ключові характеристики рішення
Уніфікований аудіо- та відеопотік — FFprobe автоматично визначає формати. Один вхідний пункт обробляє MP4, MKV, WebM, MOV і аудіо без ручного конвертування.
Багатомовна AI транскрипція — Обробляє записи англійською, арамейською та змішаними мовами з підказками, що зберігають мовні межі та застосовують правильні конвенції письма.
Динамічний вибір AI-моделі — Рівні Pro, Flash і Flash-Lite обираються автоматично за довжиною файлу та типом контенту — максимізуючи точність і мінімізуючи витрати на API.
HLS стрімінг із кількома бітрейтами — Паралельна обробка відео створює адаптивні потоки з різними бітрейтами, мініатюри та превʼю кліпів, готові для будь-якого сучасного відеопрогравача.
300+ одночасних пакетних завдань — Асанхронна архітектура Kubernetes-native обробляє великі пакети без блокування. Helm charts керують розгортанням і масштабуванням на ARM-інстансах.
Результати у цифрах
99%
Точність для англійської та арамейської аудіозаписів з автоматичним застосуванням правильного письма та діакритик.
300+
Транскрипційні завдання обробляються одночасно зі смарт-управлінням чергою та адаптивним відступом.
60%
Економія завдяки динамічному вибору моделі — легкі моделі автоматично обробляють коротший контент.
100%
Жодних втрат даних навіть під час обриву зʼєднання, з автоматичною синхронізацією після відновлення.
