在2021 GFIC 5G全球家庭互聯(lián)網(wǎng)大會的主論壇上，原廣電總局副總工、國家信息化專家咨詢委員會專家、國務(wù)院三網(wǎng)融合專家組專家 杜百川發(fā)表題為《5G和FTTR家庭XR業(yè)務(wù)》的精彩演講。

家庭大屏下一個熱點(diǎn)是XR業(yè)務(wù)。擴(kuò)展現(xiàn)實（XR）是虛擬現(xiàn)實（VR Virtual Reality）、增強(qiáng)現(xiàn)實（AR Augmented Reality）和混合現(xiàn)實（MR Mixed Reality）以及尚未開發(fā)的沉浸式技術(shù)的總稱。

同時，VR和沉浸式兩個概念也經(jīng)常容易混淆，把360度視頻歸到VR是不對的，VR是全虛擬環(huán)境，而360度視頻大部分是實際拍攝現(xiàn)實世界，不能稱為VR。——杜百川

ITU-R先進(jìn)沉浸式感官媒體系統(tǒng)

今年3月發(fā)布的“ITU-R先進(jìn)沉浸式感官媒體系統(tǒng)”中增加了“感官媒體”描述，未來沉浸式技術(shù)場景不僅僅涉及聽覺和視覺，還加上了觸覺，所以便稱為是感官媒體。

“高級沉浸式感官媒體系統(tǒng)（AISM）”允許用戶通過高級沉浸式視聽系統(tǒng)得到前所未有的臨場感和沉浸式體驗。其可以欺騙大腦感知系統(tǒng)，重建視聽現(xiàn)實并允許用戶自然地與虛擬場景交互。ITU-R已將“先進(jìn)沉浸式感官媒體系統(tǒng)的廣播節(jié)目制作、交換和展現(xiàn)”列入了建議（或報告計劃），預(yù)計2023年完成。

AISM系統(tǒng)質(zhì)量主要包括三個基本方面：高視覺質(zhì)量、高音頻質(zhì)量、直接用戶接口，可以提供沉浸式體驗。

舉例而言，電視和AR的集成，通過AR設(shè)備將不同位置的電視表演者或家人和朋友進(jìn)行三維組合顯示。觀眾在看電視時可以感覺好像他們與電視表演者、家人和朋友共享同一個空間。 使用 AR 眼鏡，表演者或人物以實際尺寸顯示，以提供增強(qiáng)的真實感。

“ITU-R BT.2123-0(2019.1) ”提供了用于廣播節(jié)目制作和國際節(jié)目交換的高級沉浸式視聽系統(tǒng)(AIAV)視頻參數(shù)值?；谌搜鄣囊暳?，以使觀看者在觀看360°圖像的任一部分時不會感知圖像的像素結(jié)構(gòu)。全360°圖像要求30K×15K的像素數(shù)。一個半球或360°圖像的一部分可以用30K×15K的像素的一部分來表示。

在“ETSI TS 126 118 V16.2.1 (2021-05) ” 中的5G流媒體應(yīng)用VR類內(nèi)容生成指南指出，假設(shè)低分辨率區(qū)域以覆蓋整個360度區(qū)域的2K分辨率即使用2048×1024或1920×960進(jìn)行編碼，針對不同幀率提供全覆蓋的可編碼高分辨率區(qū)域的最大百分比差異較大。通常視口(VP)覆蓋完整360度全景視頻的12-25%。

上述流程采用ISO/IEC 23090-2全向媒體格式(OMAF)包裝，ISO/IEC 23008-1的MPEG媒體傳送(MMT)和ISO/IEC 23009-1動態(tài)自適應(yīng)流媒體(DASH)方式。

ETSI ARF-AR框架

AR應(yīng)用格式(ARAF)和MAR參考模型(MAR-RM)：AR應(yīng)用格式(ISO / IEC 23000-13 [i.2])側(cè)重于提供增強(qiáng)現(xiàn)實展現(xiàn)而不是客戶端或服務(wù)器過程的數(shù)據(jù)格式。ARAF指定用于表示AR內(nèi)容的場景描述元素，連接到本地和遠(yuǎn)程傳感器和執(zhí)行器的機(jī)制，壓縮媒體（圖像、音頻、視頻、圖形）集成機(jī)制，連接到諸如地圖和壓縮媒體的遠(yuǎn)程資源機(jī)制。MAR-RM(ISO/IEC 18039)定義了混合和增強(qiáng)現(xiàn)實的范圍和關(guān)鍵概念，相關(guān)術(shù)語定義以及通用系統(tǒng)架構(gòu)作為MAR應(yīng)用、組件、系統(tǒng)、服務(wù)和規(guī)范的參考模型。

AR標(biāo)記語言和WebXR設(shè)備API：OGC(Open Geographic Consortium)發(fā)布的ARML 2.0是基于XML的描述性數(shù)據(jù)格式，建立在通用對象模型之上，允許使用多種語言以系列化。WebXR設(shè)備API提供對通常與VR和AR硬件相關(guān)的輸入和輸出功能的訪問。

AR-相關(guān)數(shù)據(jù)表達(dá)標(biāo)準(zhǔn)：文字、圖片、視頻、音頻、2D圖形對象、3D圖形對象和場景、場景描述、傳感器和執(zhí)行器數(shù)據(jù)相關(guān)標(biāo)準(zhǔn)、地理數(shù)據(jù)相關(guān)標(biāo)準(zhǔn)。

通信協(xié)議標(biāo)準(zhǔn)、硬件API標(biāo)準(zhǔn)和用戶接口規(guī)范。

特殊域標(biāo)準(zhǔn)和AR質(zhì)量評價標(biāo)準(zhǔn)：特殊域標(biāo)準(zhǔn)——建筑或施工、制造與安裝；AR質(zhì)量評價標(biāo)準(zhǔn)——用戶體驗。

在“3GPP TR 26.998 V0.8.0 Release 17（2021-05）”中的“5G眼睛型AR/MR設(shè)備的支持”，主要介紹眼睛類AR/MR器件功能架構(gòu)；器件功能；通用參考器件功能架構(gòu)器件分為單獨(dú)的5G AR用戶設(shè)備STAR，依賴于5G 邊緣的AR用戶設(shè)備EDGAR，5G 無線系留的AR用戶設(shè)備；AR會晤的基本處理；AR內(nèi)容格式和編解碼等。

5G中的XR出現(xiàn)于“ETSI TR 126.928 V16.1.0 Release 16（2021-01）”。

XR介紹涉及定義，QoE，沉浸度和現(xiàn)場感，交互延遲和內(nèi)容年齡，5G系統(tǒng)XR交付，交付類型，用于XR的5G系統(tǒng)和無線功能，5G中QoS，5G媒體交付，邊緣計算，XR引擎和渲染等等。

XR的用例和場景主要有3D對象的離線共享，實時XR共享，XR多媒體流媒體，在線XR游戲，XR困難任務(wù)，XR會議，空間音頻多方呼叫等等。

將XR匹配到5G包括XR處理和媒體為中心的架構(gòu)，視點(diǎn)無關(guān)的交付，視點(diǎn)相關(guān)的流媒體，在網(wǎng)絡(luò)中視點(diǎn)渲染，基于柵格分割的渲染，通用分割渲染，XR分布式計算，XR對話類；流量特性總匯；現(xiàn)存5QI(5G QoS Identifier)分析等等。

3GPP上的VR媒體業(yè)務(wù)出現(xiàn)于“ETSI TR 126.918 V16.0.0 Release 16(2020-11)”，主要規(guī)定5G當(dāng)中的媒體業(yè)務(wù)，主要有大型活動廣播/組播，VR流媒體，在3GPP分發(fā)360°A/V內(nèi)容庫，HMD消費(fèi)的現(xiàn)場業(yè)務(wù)，社交電視和VR，電影VR等等。

移動流媒體應(yīng)用的VR類

移動流媒體應(yīng)用的VR出現(xiàn)于“ETSI TS 126.118 V16.2.1 Release 16(2021-05)”，指出了VR架構(gòu)和接口，比如參考系統(tǒng)、端到端的架構(gòu)、客戶端的參考架構(gòu)、渲染方案、工作點(diǎn)和媒體類；提供了VR指標(biāo)，客戶端參考架構(gòu)及5個觀察點(diǎn)，指標(biāo)定義，指標(biāo)配置和報告。

VR相關(guān)的用戶體驗QoE參數(shù)和指標(biāo)

VR相關(guān)用戶體驗QoE參數(shù)和指標(biāo)出現(xiàn)于“ETSI TR 126.929 V16.1.0 Release 16(2020-11)”，目前還沒有形成標(biāo)準(zhǔn)，正在討論當(dāng)中，影響用戶體驗因素主要有內(nèi)容創(chuàng)建、網(wǎng)絡(luò)傳輸和設(shè)備要求。

該報告提供了與VR服務(wù)相關(guān)的QoE指標(biāo)的研究，側(cè)重于為VR QoE測量點(diǎn)定義設(shè)備參考模型；研究可能影響VR業(yè)務(wù)體驗的關(guān)鍵性能指標(biāo)；識別和定義與VR用戶體驗相關(guān)的新QoE參數(shù)和指標(biāo)；分析現(xiàn)有QoE報告的潛在改進(jìn)；為SA4中關(guān)于QoE參數(shù)和指標(biāo)的未來標(biāo)準(zhǔn)工作提供建議，并在必要時與其他3GPP組和外部SDO協(xié)調(diào)。

VR相關(guān)的用戶體驗QoE指標(biāo)主要有VR交互指標(biāo)；VR內(nèi)容對QoE的影響；傳輸對VR QoE的影響；VR設(shè)備對QoE的影響；VR QoE設(shè)置和報告。

GSTP-FTTR(fibre-to-the-room)用例和要求

杜百川最后指出，人們對5G太關(guān)注以至于忽略了光纖(fibre)，F(xiàn)TTR(fibre-to-the-room)是ITU今年的新文件。

云虛擬現(xiàn)實（VR）正在成為家庭網(wǎng)絡(luò)的新視頻供應(yīng)。 Cloud VR 基于云計算技術(shù)，將 VR 內(nèi)容存儲在云端并進(jìn)行渲染。通過快速穩(wěn)定的傳輸網(wǎng)絡(luò)，將視頻和音頻輸出經(jīng)過編碼和壓縮后傳輸?shù)接脩艚K端。終端用戶無需購買昂貴的主機(jī)或高端PC即可享受云VR服務(wù)，有助于推動VR服務(wù)的普及。

因此，端到端網(wǎng)絡(luò)，包括Wi-Fi連接、基于光纖的家庭網(wǎng)絡(luò)、接入網(wǎng)、傳送網(wǎng)和業(yè)務(wù)處理時延，在云VR的理想體驗質(zhì)量下，網(wǎng)絡(luò)往返時延要求小于10ms。Wi-Fi 連接使用非授權(quán)頻譜和基于競爭的機(jī)制，這可能會導(dǎo)致相對較大的延遲。FTTR的家庭網(wǎng)絡(luò)帶來了額外的功能，可用于滿足更嚴(yán)格的要求。

FTTR在確保某些業(yè)務(wù)的低延時方面也可以做網(wǎng)絡(luò)切片。對于固定網(wǎng)絡(luò)，F(xiàn)5G定義了三個技術(shù)特性：增強(qiáng)型固定寬帶(eFBB)、全光纖連接(FFC)和保證可靠體驗(GRE)。

杜百川還介紹了近年來XR各個方面發(fā)布了相關(guān)白皮書，比如2020年國家廣電總局科技司發(fā)布了《5G高新視頻-沉浸式視頻技術(shù)白皮書》、中國通信標(biāo)準(zhǔn)化協(xié)會發(fā)布了《5G網(wǎng)絡(luò)下的云化虛擬現(xiàn)實平臺技術(shù)白皮書》和《云化增強(qiáng)現(xiàn)實關(guān)鍵場景及技術(shù)白皮書》等等。