Miðla Umbreytingar Þjónusta
Yfirlit málaveppu
Þetta er skýjatengd miðlun umbreytingarþjónusta sem tekur vídeó- og hljóðskrár og breytir þeim í HLS straumform með stuðningi við aðlögun á bitahraða. Kerfið hlustar á SQS biðröð fyrir nýjar skrár, keyrir Kubernetes verkefni fyrir hverja skrá, og framleiðir fullan uppsetningarpakka af m3u8 spilasettum og .ts hlutum tilbúnum fyrir hvaða nútíma vídeóspilara sem er.
Það styður margar upplausnir fyrir vídeó, margar bitahraðastig fyrir hljóð, og meðhöndlar vídeó með mörgum hljóðrásum — þar á meðal mismunandi tungumál eða ummæli. Þjónustan vinnur fyrir mörg verkefni samtímis og skipuleggur úttak í aðskildar möppur á S3 byggt á verkefninu eða útgefanda.
Markmið: Byggja upp fullkomlega sjálfvirka þjónustu sem umbreytir hvaða vídeó- eða hljóðskrá sem er í HLS form án handvirkrar íhlutunar - vinnandi yfir mörg verkefni, meðhöndlandi fjölbreytt efni, og minnkaðu í núll þegar hún er í hvíld.
Lykil upplýsinga um verkefni
Iðnaður
Miðlar og afþreying, vídeóstraumsveitur, OTT og útvarpsþjónustur, stafrænt útgáfufyrirtæki, efnisdreifinet — öll fyrirtæki sem þurfa að koma vídeó- eða hljóðefni til enda notenda á fjölbreyttum tækjum og mismunandi nettengingum.
Þjónustur
SQS biðröðarvinnsla með löngum viðvörunum og stjórnun sýnileika tímaloka, FFmpeg & FFprobe miðlun umbreytingu og strauma greiningu, Kubernetes verkefnisstjórn með tímabundnum rýmum og tenglum við hnút, samhliða S3 upphleðslupípu með fyrirhleðslu hreinsun.
Lausnir
Fjölupplausn HLS vídeó — 1080p, 720p, 480p, 360p, 240p með aðlögunar bitahraða, Fjölbitahraða hljóð HLS — 32, 64, 96, 128, 192 kbps stig fyrir hverja hljóðrás, Sjálfvirk uppgötvun allra hljóðstrauma með tungumálalýsingu, Smámyndir við 2 sekúndna mark, lágupplausn MP4 forskoðun, MP3 og WAV afrit.
Tækni
AWS SQS, S3, Kubernetes, FFmpeg, FFprobe, H.264, AAC/HE-AAC, HLS/m3u8, NVIDIA NVENC, Intel Quick Sync, EC2 sjálfvirk aðlögun, Docker, Helm
Áskoranirnar
Margfeldi úttaksform úr einni innsláttaskrá
Ein vídeóskrá getur framleitt hundruð skrár — fimm vídeó upplausnir, fimm hljóðbitahraðastig fyrir hverja hljóðrás, auk smámynda og forskoðana. Við þurftum að skipuleggja þetta allt hreint og hlaða upp hratt.
Fjölmargar hljóðrásir fyrir hverja vídeóskrá
Sum vídeó koma með mörgum hljóðrásum á mismunandi tungumálum. Kerfið þurfti sjálfkrafa að uppgötva þær allar, umbreyta hverri sérstaklega, og byggja upp aðalspilasett sem vísar til allra rása með réttum tungumálamiðum.
Áreiðanleiki biðröðar og endurtilrauna rökfræði
Með SQS þarftu að meðhöndla afrit, sýnileika tímatakmarkanir, og biluð störf almennilega. Ef starf tekst ekki á að skilaboðin komi aftur í biðröð til að reyna aftur. Ef sama skrá er sett í biðröð tvisvar, ættum við ekki að vinna með hana aftur.
Stjórnun á Kubernetes
Hvert umbreytingarverkefni notar mikla CPU og minni. Við þurftum að setja upp tímabundin rými, reglur um hnút tengsl og viðeigandi hreinsun svo verkefnin hrúgist ekki saman eða hindri hvert annað.
Margvísleg verkefna einangrun á S3
Þjónustan keyrir fyrir mörg verkefni í einu. Hvert verkefni þarf sinn úttaksstíg á S3, og við þurftum að styðja bæði útgefanda byggða og þáttarað byggða möppuskipan án bilana.
Sjálfvirk vali á kódeki
Ekki eru öll vélar með GPU hraðaldrif. Kerfið þurfti að uppgötva hvaða kódek eru tiltækar — NVIDIA, Intel Quick Sync, AMD, eða bara hugbúnaður — og velja besta sjálfkrafa.
Ferlið
Allt ferlið keyrir án mannlegrar þátttöku — frá því augnabliki sem skrá lendir á S3 þar til loka HLS úttak er tilbúið til spilunar. Hver skref hendir hreint yfir á næsta, með innbyggðum öryggisráðstöfunum fyrir bilanir, afrit, og samkeppni um auðlindir. Hér fyrir neðan er hvernig kerfið flytur skrá í gegnum alla umbreytingahringinn.
Biðröðarkönnun
Verkefnisstjórinn keyrir á Kubernetes og kannar SQS biðröðina með löngum viðvörunum. Þegar skilaboð berast, les það S3 kerfið og hluti lykils til að þekkja upprunalegu skrána.
Forvarnir gegn tvítekningu
Áður en nýtt verkefni er búið til, athugar stjórnandi hvort Kubernetes verkefni fyrir sömu skrá sé til. Ef fundið er, er skilaboðum komið aftur í biðröð með töf til að koma í veg fyrir tvöfalda vinnslu.
Sköpun Kubernetes verkefnis
Nýr hammock er búinn til úr sniðmáti með réttum auðlindamörkum, hnút tengslum fyrir ARM-undirstaða tilfelli og tímabundnum rýmum fyrir tímabundnar skrár, inntak, úttak og skráningarbók.
Viðskipti á vídeó og hljóð
FFmpeg umbreytir vídeó í fimm HLS upplausnir (1080p→240p) með 4 sekúndna hlutum. Hver hljóðrás er uppgötvuð og umbreytt í fimm bitahraða stig — 32 til 192 kbps.
Búa til aðalspilasett
Ein m3u8 aðalskrá vísar til allra vídeó upplausna og hljóðrasa með tungumálalýsingu — sem gerir mögulegt að aðlaga straum og skipta um tungumál í hvaða nútíma spilara sem er.
Upphleðsla, hreinsun og sjálfvirk stigvun
Allar skrár eru hlaðnar upp á S3 samtímis með 500 þráða púl. Gamlar HLS einingar eru hreinsaðar áður en ný sett kemur. Sjálfvirki stigvaxarinn minnkar hnútana niður í núll þegar biðröðin tæmist.
Lausnir
Lykil atriði lausnarinnar
Aðlögunar bitahraða vídeó - 5 stig — 240p (300 kbps) → 1080p (5000 kbps) í einu spilalista. Sjálfvirk gæðaval byggt á tengihraða.
Fjölrása hljóð með tungumálamiðum — Uppgötvar og umbreytir öllum hljóðrásum, þar á meðal ummælum og lýsingum, á meðan tungumálalýsingu er varðveitt.
Sjálfvirk kódek uppgötvun — Notar NVIDIA / Intel / AMD, eða hugbúnaðarlausn ef engin GPU er til staðar.
Enginn óhreyfikostnaður sjálfvirk stækkun — EC2 hnútarnir minnka niður í núll þegar biðröðin er tóm. Vinnur sem eru í gangi eru varin gegn ótímabærri hættingu.
Fjölverkefna aðskilnaður í S3 — Hvert verkefni hefur sitt eigið S3 úttaksslóð. Styður bæði möppur uppbyggðar eftir útgefanda og röð.
Niðurstöður í tölum
1080p
Fimm aðlögunarbitahraðaflokkar frá 240p við 300 kbps allt að fullu HD 1080p við 5000 kbps — spilarinn skipir sjálfkrafa um gæði miðað við tengihraða.
500x
Hundruð úttaksskráa — mál, spilunarlistar, smámyndir, forskoðanir — eru hlaðnar upp í S3 samtímis með þræðahópi, sem heldur afhendingartímanum í lágmarki.
4sek
4 sekúndna HLS köflum er haldið jafnvægi milli hraða aðlögunar og skilvirkni skyndiminni — spilarinn bregst við netbreytingum innan eins kafla.
5x
Hver hljóðrás — þar á meðal athugasemdir og lýsingar — fær allt að fimm gæðastig frá 32 kbps (HE-AAC) til 192 kbps (LC-AAC) með háværisseiglu.
