2021年5月27日下午，國家廣電總局原副總工程師杜百川在北京國際會議中心舉辦的第二十八屆中國國際廣播電視信息網(wǎng)絡(luò)展覽會（CCBN）上做了題為《加快建立智慧廣電開放算法平臺和評估體系》的主題報告。

以下為演講全文：

各位嘉賓下午好！下午說了很多有關(guān)人工智能和大數(shù)據(jù)方面的應(yīng)用和發(fā)展，很令人振奮。但是人工智能的大數(shù)據(jù)也必須有相應(yīng)的評價體系，應(yīng)當(dāng)說智慧廣電，我的理解是指利用算法、大數(shù)據(jù)、AI、物聯(lián)網(wǎng)、區(qū)塊鏈等新技術(shù)促進(jìn)廣電各方面工作的智能、高效、協(xié)調(diào)、高質(zhì)量發(fā)展。

剛才科大訊飛也說了大數(shù)據(jù)和AI在整個行業(yè)都得到了廣泛的應(yīng)用，比如說機(jī)器主持人、機(jī)器人撰稿、內(nèi)容和演員選擇、節(jié)目價值評價，以及傳輸?shù)闹悄苈酚?、智能邊緣、智能分發(fā)、接收的智能操作系統(tǒng)、智能推薦，包括整個的智能運(yùn)維和安全都已經(jīng)用到了AI和大數(shù)據(jù)。但是AI的應(yīng)用越來越廣泛，正在影響全球商業(yè)和私人生活，涉及到巨大的機(jī)遇和風(fēng)險。AI的許多技術(shù)活動，包括了網(wǎng)絡(luò)優(yōu)化、飲食安全、數(shù)據(jù)管理、語義互操作性以及所有領(lǐng)域，這些都必須要考慮人的因素，這里面包括這幾個方面。

第一，在AI使用當(dāng)中，包括倫理要求，比如說電子衛(wèi)生保健，飲食安全。第二，通過對使用AI的系統(tǒng)進(jìn)行適當(dāng)?shù)臏y試和評估來確保安全性。第三，克服一些與AI相關(guān)的安全性問題，就是有些算法是不透明的，你不知道在干什么，有時候會出現(xiàn)問題。我們前面講的都是好的地方，實(shí)際上是有安全問題的。第四是更好地管理和表征AI所使用的數(shù)據(jù)，包括來自IoT的系統(tǒng)數(shù)據(jù)。為了加快廣電AI的應(yīng)用，可靠性和信任度，有必要建立開放的廣電應(yīng)用算法平臺和建立健全的測試評價體系。

我們可以舉一個例子，歐盟在這方面，對AI要求以人為本，2019年4月，EC HLEG（高級別道德小組）發(fā)布了一系列“可信賴AI倫理準(zhǔn)則”，包括要求鼓勵在歐盟標(biāo)準(zhǔn)化路線圖中考慮七類要求：可問責(zé)，人類代理，技術(shù)穩(wěn)健性，隱私和數(shù)據(jù)治理，透明度，非歧視性和社會效益。歐洲議會的一項(xiàng)原則，算法問責(zé)制和透明度的治理框架建議，創(chuàng)建一個用于算法決策的監(jiān)管機(jī)構(gòu)，來定義可用于區(qū)分可接受的算法和不可接受的算法，以及可接受的決策系統(tǒng)和不可接受決策系統(tǒng)的指標(biāo)。并不是所有的AI都是可接受的。

2020年2月，EC的AI人工智能白皮書-“歐洲實(shí)現(xiàn)卓越和信任方法”確認(rèn)有必要對個人和整個社會進(jìn)行風(fēng)險評估，支持傳統(tǒng)價值觀和基本權(quán)利，包括安全和賠償責(zé)任，以及消除種族和性別偏見，有必要在當(dāng)前單獨(dú)工作的各個學(xué)科之間搭起橋梁。我們要有一個公共的平臺，在這方面，我國的大數(shù)據(jù)立法，在國家層面已經(jīng)有了，但還不是很完善，國家層面除了在《中華人民共和國憲法》，《中華人民共和國網(wǎng)絡(luò)安全法》，《中華人民共和國民法總責(zé)》當(dāng)中有涉及個人信息和隱私保護(hù)條款，還有一些指導(dǎo)意見和行業(yè)規(guī)范意見當(dāng)中對數(shù)據(jù)安全保護(hù)提出了宏觀要求，比如說國務(wù)院印發(fā)的《關(guān)于運(yùn)用大數(shù)據(jù)加強(qiáng)對市場主體服務(wù)和監(jiān)管的若干意見》，中國人民銀行制定并發(fā)布的《個人信用信息基礎(chǔ)數(shù)據(jù)庫管理暫行辦法》，國家網(wǎng)信辦制定的《個人信息和重要數(shù)據(jù)出境安全評估辦法（征求意見稿）》對我國境內(nèi)進(jìn)行個人信息和重要數(shù)據(jù)收集的網(wǎng)絡(luò)運(yùn)營商提出了需進(jìn)行安全評估等要求。

地方層面，2017年浙江省發(fā)布《浙江省公共數(shù)據(jù)和電子政務(wù)管理辦法》，2018年貴陽市發(fā)布了《貴陽市大數(shù)據(jù)安全管理?xiàng)l例》，2020年深圳市印發(fā)《深圳經(jīng)濟(jì)特區(qū)數(shù)據(jù)條例（征求意稿）》，從個人數(shù)據(jù)保護(hù)、公共數(shù)據(jù)管理和應(yīng)用、數(shù)據(jù)要素市場培育、數(shù)據(jù)安全管理、法律責(zé)任等方面全面對自然人、法人和非法人組織數(shù)據(jù)的相關(guān)權(quán)益進(jìn)行了規(guī)范，并首次提出了數(shù)據(jù)權(quán)的概念。

國家層面的大數(shù)據(jù)的立法，是由信標(biāo)委來組織的，分成了管理、數(shù)據(jù)、技術(shù)、平臺工具，治理與管理，安全與隱私等方面，非常全面。人工智能方面，也提出了治理的方法和目標(biāo)，也就是說，要堅(jiān)持科技造福人類，平衡發(fā)展和有效治理的關(guān)系，要求全面釋放人工智能帶來的紅利與價值。如何全面釋放，關(guān)鍵在于后面要精確防范，并應(yīng)對人工智能可能帶來的風(fēng)險，也只有控制好風(fēng)險，也就是只有你有剎車，你的車才能開得安全。已經(jīng)發(fā)布了多項(xiàng)大數(shù)據(jù)國標(biāo)，大概有30多項(xiàng)，我就不一一念了，非常全面，包括評估方面的，成熟度模型等等，總局也加強(qiáng)了大數(shù)據(jù)的合規(guī)管理。2020年4月，國家廣電總局發(fā)布了6號令《廣播電視行業(yè)統(tǒng)計(jì)管理規(guī)定》，該規(guī)定用于廣播電視主管部門依法調(diào)查、搜集、整理、研究和提供廣播電視、網(wǎng)絡(luò)視聽節(jié)目服務(wù)統(tǒng)計(jì)資料，包括大數(shù)據(jù)統(tǒng)計(jì)資料，廣播電視行業(yè)的統(tǒng)計(jì)活動。按照6號令，廣播電視主管部門應(yīng)當(dāng)依托大數(shù)據(jù)統(tǒng)計(jì)信息系統(tǒng)，統(tǒng)籌收視收聽率（點(diǎn)擊率），統(tǒng)計(jì)工作，對數(shù)據(jù)的采集、發(fā)布進(jìn)行監(jiān)督；任何機(jī)構(gòu)和個人不得干擾、破壞廣播電視主管部門依法開展的收視收聽率（點(diǎn)擊率）統(tǒng)計(jì)工作，不得制造虛假的收視收聽率（點(diǎn)擊率）。

2020年4月廣電總局下發(fā)74號文和修訂版的《廣播電視和網(wǎng)絡(luò)視聽統(tǒng)計(jì)調(diào)查制度》，明確統(tǒng)計(jì)對象和范圍為全國廣播電視和網(wǎng)絡(luò)視聽行政事業(yè)單位、企業(yè)單位以及產(chǎn)業(yè)活動單位。調(diào)查制度還規(guī)定調(diào)整了網(wǎng)絡(luò)視聽節(jié)目服務(wù)、IPTV、互聯(lián)網(wǎng)電視（OTT）和短視頻等網(wǎng)絡(luò)視聽報表，新增對產(chǎn)業(yè)基地（園區(qū)）的統(tǒng)計(jì)，并強(qiáng)化了高清超高清、智能終端等內(nèi)容。

同時，2021年5月科技司制定和發(fā)布《網(wǎng)絡(luò)視聽收視大數(shù)據(jù)技術(shù)規(guī)范第一部分：總體要求》第二部分，數(shù)據(jù)元素集，第三部分接口，《廣播電視和網(wǎng)絡(luò)視聽收視綜合評價數(shù)據(jù)脫敏規(guī)則》，廣電對大數(shù)據(jù)標(biāo)準(zhǔn)制定了大數(shù)據(jù)集，跟剛才國家的類似。同時，也制定了大數(shù)據(jù)治理的框架，這個我就不一一詳細(xì)說了。影視保護(hù)技術(shù)是隨時間進(jìn)步的，比如說剛開始是匿名化，在大數(shù)據(jù)時代加了去識別，到了AI和機(jī)器學(xué)習(xí)階段，有了影視增強(qiáng)。隱私保護(hù)相關(guān)問題，也有一定的相關(guān)解決措施，有四個方面。第一個方面是數(shù)據(jù)偏見，怎么來糾正，拒絕有些錯誤的分類。第二是采取對抗的辦法，這方面相應(yīng)標(biāo)準(zhǔn)是ISO/IEC的TR24028和24027。數(shù)據(jù)中毒，加強(qiáng)異常檢測；數(shù)據(jù)消毒，對新加入數(shù)據(jù)進(jìn)行精確的檢查。第三是模式抽取，主要是PATE和誤導(dǎo)對手，這個也有相應(yīng)的標(biāo)準(zhǔn)。第四是隱藏或者是隱匿，我想辦法躲在你的數(shù)據(jù)里，采取的什么辦法呢？對抗訓(xùn)練和深度的池。實(shí)際上AI和數(shù)據(jù)的國際標(biāo)準(zhǔn)，主要是由ISO/IEC/JTC1和SC42，一共有五個工作組，第一個工作組是基礎(chǔ)標(biāo)準(zhǔn)，第二個是大數(shù)據(jù)，第三個是可信任度，第四個是用例和應(yīng)用，第五個是AI系統(tǒng)的計(jì)算方法和技術(shù)特征。我們注意，這個工作組實(shí)際上名字是AI工作組，但是大數(shù)據(jù)是其中的一個分工作組。

各個工作組都制定了相應(yīng)的標(biāo)準(zhǔn)，已經(jīng)頒布的就是我現(xiàn)在用粗體字表示的，都是近一兩年，2019年、2018年、2020年有關(guān)的標(biāo)準(zhǔn)。國內(nèi)剛才說的那些標(biāo)準(zhǔn)也是相應(yīng)采取的。這里面就包括了去年頒布的可信任度的標(biāo)準(zhǔn)評估。第二個是評價，神經(jīng)網(wǎng)絡(luò)魯棒性的評價，有一系列的對AI算法和AI系統(tǒng)的評估。用例和應(yīng)用當(dāng)中也有一個，用例已經(jīng)發(fā)過了，還有治理應(yīng)用，我就不再詳細(xì)說了。

對于廣電來說，我們現(xiàn)在盡管大數(shù)據(jù)和AI得到了廣泛的應(yīng)用，但是也存在著不少問題，比如說很多地方都是獨(dú)立的投入，而且很多是相似的方案，這樣浪費(fèi)了投資。相對來說，訓(xùn)練的序列也比較少，所以范圍也小，迭代的機(jī)會不高，體量也不高，還缺乏廣電專用的大數(shù)據(jù)和AI應(yīng)用算法的開放平臺。我們和訊飛合作，訊飛那兒有，但是廣電還有很多基礎(chǔ)應(yīng)用上沒有開放的平臺，算法各自也沒有迭代。廣電專用平臺能夠減少整體投資，擴(kuò)大訓(xùn)練規(guī)模和范圍，加速迭代升級速度來提高質(zhì)量。我們舉一個例子，GitHub是一個開放的算法平臺，包括騰訊，包括百度，都在這上面有，很多應(yīng)用范圍都可以直接利用他的算法，包括代碼直接進(jìn)行升級、運(yùn)算，同時也提高了平臺算法的進(jìn)步，增強(qiáng)了他的進(jìn)步。我一直想這個問題，安卓開始也是開放平臺，中國提供了很多促進(jìn)他的方式和方法，但是最后不讓我們用。GitHub現(xiàn)在都是公開的，還是可以用，我們有這么大的用戶量，為什么我們自己不弄一個開放平臺。

對于測試來說，最基本的測試，圖靈測試，我們可以看到，評估者不知道的一面墻，響應(yīng)A是人類，響應(yīng)B是機(jī)器，看看評估者能不能判斷是機(jī)器還是人，這是最基本的測試。

但是對于ICT生態(tài)系統(tǒng)支持的AI系統(tǒng)應(yīng)該包括這么幾個鏈條，第一是數(shù)據(jù)源，包括圖像、文字、IoT，第二個是計(jì)算環(huán)境，包括邊緣，包括云。第三個是AI引擎，或者是單獨(dú)的AI引擎，第四個是AI服務(wù)和應(yīng)用。對于AI和大數(shù)據(jù)的測試，也包括了這四個方面。

四個方面，因?yàn)锳I當(dāng)中總會存在一些失敗點(diǎn)，對于任何AI系統(tǒng)的測試策略都必須仔細(xì)構(gòu)建來降低失敗的風(fēng)險。為此，首先必須確定一個AI框架是處于哪個部分和階段，然后定義一個跨整個框架要采用哪些特定的測試技術(shù)的綜合測試策略，為確保AI系統(tǒng)正常發(fā)揮作用，一般有四種常見的測試。第一是基本認(rèn)知測試，就是單項(xiàng)測試，比如說自然語言處理，語音識別，圖象識別，光學(xué)字符識別，根據(jù)不同的能力和應(yīng)用的要求給出相應(yīng)的指標(biāo)，這是第一項(xiàng)測試。第二是AI平臺測試，比如說華為的Atlas，百度的PaddlePaddle，騰訊的TI-ONE，IBM的Watson，Azure的ML Studio等等，這都屬于平臺。第三是基于ML的分析模型的測試。第四是AI驅(qū)動的解決方案的測試。除了平臺測試以外，這三個測試都比較好理解，我們下面專門說一下平臺的測試，實(shí)際上也包括了四個部分。

第一是數(shù)據(jù)源和整理測試。一要核查不同系統(tǒng)來的數(shù)據(jù)質(zhì)量——數(shù)據(jù)正確性、完整性和適合性，以及格式檢查、數(shù)據(jù)溯源和樣式分析。二要核查加到原始數(shù)據(jù)的轉(zhuǎn)換規(guī)則和邏輯，是不是能得到期望的輸出格式，任何性質(zhì)的數(shù)據(jù)、表格、純文本或者是大數(shù)據(jù)，測試方法和自動框架是不是都能起作用。核查輸出查詢或程序可提供想要的數(shù)據(jù)輸出，還有就是正面和負(fù)面的場景測試。第二是算法測試，這個我就不再詳細(xì)說了。第三是API的完整性測試，核查每個API的輸入請求和響應(yīng)，包括相應(yīng)對是不是完整，測試部件間通信，執(zhí)行API和算法的完整性測試。第四是系統(tǒng)和回歸測試。

歐洲對AI的測試框架制定了相應(yīng)的標(biāo)準(zhǔn)，我們就不一一詳細(xì)說了，希望我們能夠在不久的將來建立我們自己的測試平臺和相應(yīng)的評估辦法。謝謝大家！