Þjónusta fyrir miðlaumbreytingu
Yfirlit verkefnis
Þetta er skýjabundin miðlaumbreytingarþjónusta sem tekur vídeó- og hljóðskrár og umbreytir þeim í HLS straumform með stuðningi við aðlögun á gagnaflæði. Kerfið hlustar á SQS röð fyrir nýjar skrár, ræður Kubernetes verkefni fyrir hverja skrá, og framleiðir fullkomið safn af m3u8 spilanalistum og .ts köflum tilbúna fyrir hvaða nútímalegan vídeóspilara sem er.
Það styður margar upplausnir fyrir vídeó, mörg gagnaflæðisstig fyrir hljóð, og meðhöndlar vídeó með mörgum hljóðrásum — þar á meðal mismunandi tungumál eða umfjöllun. Þjónustan er í gangi fyrir mörg verkefni samtímis og skipuleggur útkomur í aðskildar möppur á S3 eftir verkefni eða útgefanda.
Markmið: Að byggja upp fullkomlega sjálfvirka þjónustu sem umbreytir hvaða vídeó- eða hljóðskrá sem er í HLS form án handvirks inngrips - vinnur þvert á mörg verkefni, meðhöndlar fjölbreytt innihald og skalar niður í núll þegar hún er óvirk.
Helstu upplýsingar um verkefnið
Iðnaður
Miðlar & afþreying, vídeóstreymi, OTT & útvarpsþjónusta, stafrænt útgáfustarf, dreifinet á efni — öll fyrirtæki sem þurfa að afhenda vídeó- eða hljóðefni til enda notenda yfir mismunandi tæki og netumhverfi.
Þjónustur
SQS röðarmeðhöndlun með löngu biðtímastilli og sýnileikatímastýringu, FFmpeg & FFprobe miðlaumbreyting og straumgreining, Kubernetes verkefnaumsjón með tímabundnum yfirborðum og hnútalíkindum, samtímis S3 upphleðsluvél með fyrirhleðslu hreinsun.
Lausnir
Fjölupplausnar HLS vídeó — 1080p, 720p, 480p, 360p, 240p með aðlögun gagnaflæðis, fjöl-gagnaflæðis hljóð HLS — 32, 64, 96, 128, 192 kbps stig á hljóðröð, Sjálfvirk greining á öllum hljóðstraumum með tungumálaupplýsingum, Smámyndir á 2 sekúndna markinu, lágupplausnar MP4 forsýning, MP3 og WAV afrit.
Tækni
AWS SQS, S3, Kubernetes, FFmpeg, FFprobe, H.264, AAC/HE-AAC, HLS/m3u8, NVIDIA NVENC, Intel Quick Sync, EC2 Auto Scaling, Docker, Helm
Áskoranirnar
Margskonar úttakssnið úr einni innskrá
Ein ein vídeóskrá getur framleitt hundruð skráa — fimm vídeóupplausnir, fimm hljóðgagnaflæði á hverja hljóðröð, auk smámynda og forskoðana. Við þurftum að skipuleggja allt þetta á hreinan hátt og hlaða því hratt upp.
Margar hljóðrásir í einni vídeóskrá
Sum vídeó koma með mörgum hljóðrásum á mismunandi tungumálum. Kerfið þurfti að greina þær sjálfkrafa, umbreyta hverri fyrir sig og búa til aðalspilanalista sem vísar í hverja rás með réttu tungumálamerki.
Áreiðanleiki röðar og endurtilraun
Með SQS þarf að meðhöndla tvítekningu, sýnileikatímastilla og misheppnuð verkefni rétt. Ef verkefni bregst, á skilaboð að fara aftur í röðina til endurtilraunar. Ef sama skrá er sett í röðina tvisvar, ættum við ekki að vinna úr henni aftur.
Stjórnun á Kubernetes
Hvert umbreytingarverkefni notar mikið af örgjörva og minni. Við þurftum að setja upp tímabundin yfirborð, hnútalíkindareglur og rétt hreinsunarferli svo verkefni safnist ekki saman eða hindri hvert annað.
Sérhæfing margra verkefna á S3
Þjónustan keyrir fyrir mörg verkefni í einu. Hvert þarf sinn úttaksvettvang á S3, og við þurftum að styðja bæði möppur byggðar á útgefanda og röð án þess að brjóta neitt.
Sjálfvirk kóðakerfisval
Ekki öll vélar hafa GPU aukningu. Kerfið þurfti að greina hvaða kóðar eru tiltækir — NVIDIA, Intel Quick Sync, AMD, eða bara hugbúnaður — og velja besta sjálfkrafa.
Ferlið
Allt ferlið fer fram án mannlegrar þátttöku — frá því augnabliki sem skrá lendir á S3 þar til lokaútgangur HLS er tilbúinn til spilunar. Hver skref skilar hreint til næsta, með innbyggðum öryggisráðstöfunum til að meðhöndla bilanir, tvítekningu og árekstra um auðlindir. Hér að neðan er hvernig kerfið fer með skrá í gegnum fulla umbreytingarhringinn.
Röðarbirtiplóuma
Verkefnastjóri keyrir á Kubernetes og bíður í SQS röðinni með löngu biðtímastilli. Þegar skilaboð berast, greinir hann S3 fötu og hlutar lykil til að bera kennsl á upprunaskrá.
Forvarnir gegn tvítekningu
Áður en nýtt verkefni er búið til, athugar stjóri hvort Kubernetes verkefni fyrir sömu skrá sé þegar til. Ef svo er, endurraðar hann skilaboðunum með töf til að fyrirbyggja tvöföld vinnsla.
Búningur Kubernetes verkefnis
Nýr pod er búinn til úr sniðmáti með réttum auðlindatakmörkunum, hnútalíkindum fyrir ARM-undirstaða eintök, og tímabundnum yfirborðum fyrir tímabundnar skrár, inntak, úttak og færslur.
Vídéo & hljóð umbreyting
FFmpeg umbreytir vídeó í fimm HLS upplausnir (1080p→240p) með 4 sekúndna köflum. Hver hljóðrás er greind og umbreytt í fimm gagnaflæðisstig — 32 til 192 kbps.
Myndbandaspilanalistagerð
Ein m3u8 aðalskrá vísar í allar vídeóupplausnir og hljóðrásir með tungumálaupplýsingum — gerir kleift að aðlaga streymi og skipta um tungumál í hvaða nútíma spilara sem er.
Upphleðsla, hreinsun & sjálfskalan
Allar skrár eru hlaðnar upp á S3 samtímis í gegnum 500-þræðipúl. Gamlar HLS köfl eru hreinsaðar áður en nýr hópur lendir. Sjálfskalan gerir hnútum kleift að stilla niður í núll þegar röðin tæmist.
Lausnir
Helstu eiginleikar lausnarinnar
Aðlögunarhæft bitrate vídeó - 5 stig —240p (300 kbps) → 1080p (5000 kbps) í einum spilanalista. Sjálfvirk gæðavalið eftir tengihraða.
Fjölspora hljóð með tungumálamerkjum — Greinir og umbreytir öllum hljóðbrautum, þar með talinni athugasemdum og lýsingum, á meðan málfræðilegum upplýsingum um tungumál er haldið.
Sjálfvirk kóðkönnun — Notar NVIDIA / Intel / AMD hraðahluti, eða hugbúnaðarlausn ef enginn GPU er til staðar.
Enginn kostnaður á lítilli virkni sjálfkröftun — EC2 hnútarnir minnka niður í núll þegar biðröðin er tóm. Virkar vinnur eru varðar gegn ótímabærri lokun.
Margverkefna S3 einangrun — Hvert verkefni hefur sinn eigin S3 úttakavgötu. Styður bæði möppur sem byggja á útgefanda og þá sem byggja á seríum.
Niðurstöður í tölum
1080p
Fimm laga hljóðstraumshraðalagi frá 240p við 300 kbps upp í full HD 1080p við 5000 kbps — spilarinn skiptir gæðum sjálfkrafa eftir nettengihraða.
500x
Hundruð úttaksskráa — kaflar, spilunarlistar, smámyndir, forskoðanir — eru hlaðin á S3 samtímis með þræðapúli, sem heldur afhendingartíma í lágmarki.
4sek
4 sekúndna HLS kaflar jafnvægja hraða sjálfvirkrar skiptingar við skilvirkni við hleðslu — spilarinn bregst við breytingum í neti innan eins kaflaskila.
5x
Hver hljóðbraut — þar með talin athugasemdir og lýsing — fær allt að fimm gæðastig frá 32 kbps (HE-AAC) upp í 192 kbps (LC-AAC) með eðlilegu hljóðstyrkarskoti.
