隨著阿里云、騰訊云、華為云等云計算頭部企業(yè)在分布式云賽道的發(fā)展進程加快，以及企業(yè)上云速度加快，市場對云計算不斷提出更高要求，中國分布式云計算發(fā)展進入實踐落地階段。近期，黨的二十大報告更是提出了“加快建設數(shù)字中國”“加快發(fā)展方式綠色轉(zhuǎn)型”等重大戰(zhàn)略，為分布式云計算的發(fā)展指明了方向和路徑。

以“萬象智算”為主題的2022全球分布式云大會·上海站于10月26日正式拉開帷幕，本次大會集結(jié)了信通院、阿里云、騰訊云、F5、OceanBase、浪潮云等分布式云計算及細分領域的領袖企業(yè)，共同助推云計算向智能計算升級，促進數(shù)網(wǎng)協(xié)同、數(shù)云協(xié)同、云邊協(xié)同、綠色智能的多層次算力設施體系建設。

在10月27日上午舉辦的音視頻技術領袖論壇上，騰訊云音視頻專家工程師 劉兆瑞發(fā)表了題為《4K/8K超高清時代，媒體處理技術如何加速媒體數(shù)字化升級》的精彩演講。

4K/8K超高清

當前業(yè)務接觸的8K場景，碼率基本達到100兆以上。如此大的帶寬無論對于系統(tǒng)還是播放端，都帶來了很多新的壓力；同時，存儲的成本也會幾何倍數(shù)增長。無論是直播系統(tǒng)還是點播系統(tǒng)，都要經(jīng)過轉(zhuǎn)碼過程，對于直播系統(tǒng)來說，如果要實現(xiàn)實時8K的高大分辨率，市面上還沒有任何一個編碼器能夠在單臺服務器上實現(xiàn)8K的實時轉(zhuǎn)碼，這也是行業(yè)面臨的痛點問題之一。

另一方面，高清片源稀少，在AI之前也有專門的影片修復技術，大部分是通過人工手段，非常耗費人力、物力，無法大批量生產(chǎn)?，F(xiàn)在通過AI能力的迭代，對非常老舊經(jīng)典電影的修復能力，已經(jīng)有很大的能力提升。

面向未來來，AR/VR的興起，如果要達到比較好的效果、避免眩暈，往往需要更高的4K/8K的分辨率。除了清晰度和碼率之外，延時也是AR/VR的關注重點，要考慮在大分辨率編碼應用在新的玩法、新的應用上的延時問題。

媒體處理4K/8K架構(gòu)優(yōu)化

騰訊云音視頻在編碼方面實現(xiàn)了極速高清的能力，在不降低主觀評分的情況下，降低50%以上的帶寬以及存儲。目前，團隊在編碼上的優(yōu)化主要核心方向在兩個點：

（1）怎么樣在保證主觀評分的情況下，盡可能降低視頻的碼率；降低碼率的情況下，主要是要去解決4K/8K超高清視頻它的高帶寬的問題，比如8K大概在100兆碼率，如果降低50%，那就是在50兆，超高清視頻壓力會大幅降低。

（2）在編碼上的優(yōu)化，主要是指在速度的優(yōu)化。對于一個超高碼率的直播系統(tǒng)來說，要實現(xiàn)實時編碼，整體的編碼器系統(tǒng)架構(gòu)和速度上需要進行非常多的迭代。

編碼優(yōu)化

為了支持編碼優(yōu)化，騰訊云音視頻內(nèi)部無論是在264、265還是最新的266，都有專門的團隊進行完全編碼內(nèi)核的自研，尤其在266方面參與了國際標準的制定，有100項以上的專利，各項編碼評分成績都很優(yōu)秀。團隊對整個系統(tǒng)進行了實時的轉(zhuǎn)碼的應用，支持了北京冬奧會8K 120FPS的實時直播。

一方面是適合編碼的，或者是去適應主觀的，進行一些對應的視頻增強的工作，然后進行對應的編碼IDU的分析，包括參考幀的決策，包括量化的過程等等，之后再進行一些后處理的工作。

編碼標準規(guī)范協(xié)議，內(nèi)容、碼率分配、內(nèi)部算法等自主決策的地方，也是實現(xiàn)編碼器優(yōu)化所要關注的重點，也是各個編碼器壓縮性能的區(qū)別點。

騰訊云音視頻編碼器的優(yōu)化核心主要關注兩個方面：一方面是工程上，在工程上第一點是在指令級，把大量代碼用指令級進行優(yōu)化，大幅提升運算速度；另外一點是幀級的并行，進一步更大范圍內(nèi)的宏塊的并行。

算法上的創(chuàng)新，一方面是提升壓縮率，包括幀結(jié)構(gòu)的決策、碼率分配；另一方面，在算法的速度上，快速過濾掉那塊。

壓縮率與速度

在壓縮率和速度方面，騰訊云音視頻著眼于幀結(jié)構(gòu)的決策，如264只支持了一個B幀，可以被進行參考，無論是X64或X65，都不存在這樣的機制。如果沒有實現(xiàn)這樣的機制，在MEPG內(nèi)有一個B幀，因為范圍內(nèi)編碼架構(gòu)只有一個B幀作為參考，如果第五號幀去參考第四號幀，就要實現(xiàn)被參考的結(jié)構(gòu)。

騰訊云音視頻實現(xiàn)了多層級的B幀被參考機制，進行多層級的B幀參考，在16個B幀情況下，純編碼能力技術可以有5%以上的壓縮。

在低延遲場景上，如云游戲、AR/VR等場景，是不開B幀的，B幀往往會做后向的參考，因為解碼時要先解碼后幀再解碼前幀，必然帶來延時的增加。但B幀有它的好處，例如一個宏塊有兩個mv進行參考，極限情況下能帶來更大的壓縮率。

這種場景下，騰訊云音視頻提出了新的幀類型，叫GPB幀，它具有B幀的特性，有兩個MV進行利用，能夠提升壓縮率；為了減少延時率，對其前后list進行約束。因此，GBP幀是一個B幀，同時有兩個MV，有更大的壓縮率，并且沒有延時問題，在低延時場景下可以帶來2%~4%的BDrate收益。

編碼器向下兼容

編碼器在不斷迭代，例如266能夠哦支持更多后處理的濾鏡。將更領先的編碼器所支持的能力降級到低檔的編碼器上，例如將CDEF的約束濾波應用到264上。通過前置處理的方式，主動檢測編碼中主觀細節(jié)紋理的區(qū)域，平滑和消除周圍毛刺，最好的方法是利用AI的能力來處理，缺點是對GPU的消耗非常高。

碼率控制

前面提到的是對幀結(jié)構(gòu)的構(gòu)造提出了更好的幀結(jié)構(gòu)參考和更加新的幀結(jié)構(gòu)，從而讓整體的壓縮率降得更低。編碼器可以更好地降低壓縮率的另外一個方式就是整體的碼率控制。整體的碼率控制方式大致分為三個層級，第一個層級是場景級，第二個層級是幀級，第三個層級是宏塊級。騰訊云音視頻對多層級碼率做了控制，盡量讓每個bit的碼率分配在人眼各項指標都感受到的區(qū)域。

具體的方法是，首先把視頻切成若干個幾秒的場景區(qū)域，在場景區(qū)域提前訓練了AI模型，提取出視頻特征，通過模型訓練得到結(jié)果，即該段視頻大概是怎樣的碼率，VMAF分是95分，如果編碼質(zhì)量高于95分，它跟源就非常接近的，再加更多碼率去提升VMAF分，人眼感受不到，沒有意義。

第一個層級會設計整個場景的基準碼率，通過一些AI的手段提取特征，當前的碼率大概是多少，VMAF大概是95分。

第二部分進行幀級的碼率分配，得到一個場景和基準碼率，看在場景內(nèi)是有動的幀、靜的幀，復雜的幀、簡單的幀，進行更細粒度的幀級碼率分配。

最后進行宏塊級的碼率分配，自適應量化的能力等。需要注意的是，碼率分配的核心是在保證主觀不變的前提下盡可能降低碼率。例如，平坦區(qū)域細節(jié)并不多，碼率達到一定程度再加碼率只會造成浪費，JND或者AQ做的事情，是讓碼率分配得更均衡。

并行算法優(yōu)化創(chuàng)新

4K/8K超高清場景要做到實時化，對編碼速度的壓力很大，騰訊云音視頻對編碼速度進行了很多的優(yōu)化，分為以下兩個方面。

第一，更好地并行化。舉例來說，在做預分析時，X64或X65是大家已知開源最好的編碼器，而X64之所以沒有做幀級的并行，是由于X64是一幀一幀做幀結(jié)構(gòu)的編碼，后面幀的參考關系有比較復雜的變化，無法快速進行并行。在這一背景下，騰訊云音視頻對整個編碼結(jié)構(gòu)進行了優(yōu)化，在進行幀結(jié)構(gòu)決策之前，先快速做內(nèi)部幀類型的關系決策，決定當前幀參考哪幾幀，另外的幀參考哪幾幀，預先知道哪些幀之間沒有并行參考關系，這些沒有參考關系的幀可以進行編碼并行加速。

第二，在算法方面，快速選擇出最合適的劃分，快速終止宏塊的塊劃分；在預算上，采用空間換時間的算法，盡可能用高層信息技術彌補，通過算法的加速，以大約百分之零點幾的壓縮增益損失置換80%以上的加速。

編碼能力方面，騰訊云音視頻獲得2020/2021 MSU（云端編碼大賽）[2020全項最佳，2021 12/15最佳]，O264/V265綜合最佳，V265 MSU連續(xù)4年行業(yè)領先；TXAV1 ?MSU 2021 視頻編碼評測中取得綜合指標第一，O266 4K@1FPS 賽道取得綜合指標第一。

媒體處理4K/8K 極速高清

盡管一個8K 120FPS的直播檔位上做了大量的優(yōu)化，但在軟編上還是非常難以用一個單機實現(xiàn)，目前各大廠商提供的方案大多是基于硬件的方案，使用硬件芯片實現(xiàn)265或者AV1的8K。解決這一難題，需要考慮整個業(yè)務的分布式系統(tǒng)構(gòu)建，直播的轉(zhuǎn)碼分布式等。之所以不用硬編解決問題是出于以下幾個方面考慮。

第一，從用戶角度考慮，編碼器在不停迭代，很多8K擋還是用265做，未來可能會換成266或者AV1。如果全身心投入一個硬件的方案或者給客戶提供一個硬件方案，帶來的問題就是隨著編碼標準的升級，再進行編碼標準遷移時，整個硬件的芯片都需要進行對應的升級。如果是以軟編實現(xiàn)，只需要做軟件的升級，原先購買的服務器可以復用，升級的成本是非常低的。

第二，離線的、最極致的編碼，壓縮率最高的一定是軟編方案，相比硬編有很多優(yōu)勢，一些復雜的算法在硬編上不太好做。

第三，從業(yè)務的場景考慮。一套硬件編碼工具，可能支持了264或者265之類的8K視頻編碼，又支持HDR的能力，隨著新標準不斷迭代，之前的硬件不支持新標準的能力，更換整個系統(tǒng)是非常昂貴的。如果在軟編的基礎上，無論有什么新的標準，所有的業(yè)務需求都可以進行無損快速迭代優(yōu)化。

既然軟編能夠做到，就應該用軟編去做，無論從系統(tǒng)迭代還是功能開發(fā)的角度考慮，軟編都有非常大的優(yōu)勢。

在直播的系統(tǒng)中，單機的轉(zhuǎn)碼無法實現(xiàn)8K 120FPS的實時編碼，需要對于整體的直播轉(zhuǎn)碼架構(gòu)進行更改，變成分布式的架構(gòu)。傳統(tǒng)的直播系統(tǒng)，一個轉(zhuǎn)碼服務器從源站拉流進行轉(zhuǎn)碼，轉(zhuǎn)碼之后下行去拉對應的流進行分發(fā)，整個編碼的核心節(jié)點在一臺服務器上。把直播和點播系統(tǒng)相結(jié)合，直播拉流之后相對獨立，直播流處理系統(tǒng)并不進行實際的轉(zhuǎn)碼，反而進行分發(fā)工作，把整個實時直播流，做2秒或4秒一個小片，分發(fā)到點播離線的轉(zhuǎn)碼系統(tǒng)進行文件級轉(zhuǎn)碼。比如10秒的直播延時可以切5個兩秒的片，直接發(fā)給下游不同的轉(zhuǎn)碼集群的機器進行處理，實現(xiàn)一路直播流，底層有更多的機器并行轉(zhuǎn)碼。

這樣一來，可以通過軟件的方式實現(xiàn)非常高分辨率的實時編碼；另外，大部分直播系統(tǒng)是軟件服務，軟件系統(tǒng)的擴容非常簡單，甚至資源接近于無限，整個直播系統(tǒng)和點播系統(tǒng)的打通，可以使整體資源利用率大幅提升，降低使用成本。

但是，這種做法也存在缺點，要把一個直播流切成一個一個文件的小片進行分發(fā)，延時會變得很高。這個延時大部分情況下還是可以接受的。首先，8K編碼是非常復雜的一件事情，即使是硬件編碼器，延時也有5、6秒左右，很難做到2、3秒的延時。其次，高分辨率的直播流分發(fā)，自身也有5秒以上的延時。

把直播和點播的系統(tǒng)打通后，原先默認一路直播流N個轉(zhuǎn)碼，通過直播和點播打通結(jié)合的方式，可以做到直播系統(tǒng)的千人千面，直播系統(tǒng)不同的人，比如顯示不同廣告的插入，下行有N個人觀看的時候，可以把直播點播打通，切成很多小片放到下游的離線系統(tǒng)來進行并行處理，處理后，每個人觀看不同的片，廣告結(jié)束以后再回歸到原來的直播系統(tǒng)。

AI處理

目前4K的屏幕已經(jīng)普及了，但4K的片源非常少，尤其是很多經(jīng)典電影的清晰度遠遠達不到4K。在此基礎上，可以通過AI處理的方式，包括超分、畫質(zhì)增強等進行主觀畫質(zhì)的提升。

首先，無論是超分算法、插幀算法還是去噪等，不得不面對的問題是片源多種多樣，如果用一個通用的模型，都很難達到理想的效果；低清的片源需要很強的去噪，高清的片源則要細節(jié)增強的操作。這里延伸出第二個問題，一個視頻，該怎樣合理選擇模型。目前的做法是，首先做畫質(zhì)評估，視頻源通過AI能力評估當前畫質(zhì)如何，分辨率的超分形式是1080p到4K或是其他形式，之后從庫里選出合適的模型進行操作。

從服務客戶的角度考慮，騰訊云音視頻在系統(tǒng)里針對不同清晰度的視頻源預制了大量的定制模板，大部分的OTT或廣電客戶內(nèi)部視頻都是結(jié)構(gòu)化存儲，有自己的標簽，了解視頻屬于什么樣的類型，通過預先制定的模板，就可以選擇適合的方式進行操作。

4K/8K超高清媒體的處理

除了超分、增強等已經(jīng)提到的處理方式，騰訊云音視頻還為超高清媒體提供以下處理支持。

當藝人劣跡曝光后，需要對劣跡藝人的相關視頻做批量下線操作，騰訊云音視頻系統(tǒng)為支持更好的人臉檢測、人臉識別等檢測，視頻入庫時進行結(jié)構(gòu)化的存儲，應對突發(fā)事件時就可以更快速地做下線或者人臉替換等處理。

面對4K/8K的超高清視頻，大部分還是源站的服務。為了讓系統(tǒng)私有化，部署在沒有任何依賴的環(huán)境下，團隊把對騰訊內(nèi)部組件的依賴全部去掉，整個系統(tǒng)以容器的方式輕松快速地部署在任何一個有CPU或GPU的通用環(huán)境，來實現(xiàn)完整的4K/8K的超高清轉(zhuǎn)碼以及增強處理。

很多用戶有自建的轉(zhuǎn)碼系統(tǒng)，騰訊云音視頻也提供更加開放的方式，如底層的原子編碼能力、底層原子的增強能力。如果用戶有自身的轉(zhuǎn)碼系統(tǒng)，只需要把整個編碼庫進行簡單替換，系統(tǒng)不需要操作，騰訊云音視頻就可以把領先的編碼能力、增強能力，完全部署在用戶自己的系統(tǒng)里，編碼器是完全開放的。