亞太內(nèi)容分發(fā)大會(huì)暨CDN峰會(huì)一直致力于推動(dòng)CDN產(chǎn)業(yè)深度融合發(fā)展和市場普及，現(xiàn)已成為亞太地區(qū)影響力最大的內(nèi)容分發(fā)網(wǎng)絡(luò)盛會(huì)。十年來，在以騰訊云、阿里云、網(wǎng)宿科技等亞太CDN產(chǎn)業(yè)聯(lián)盟成員孜孜不輟的努力下，CDN產(chǎn)業(yè)已經(jīng)成為基礎(chǔ)性設(shè)施網(wǎng)絡(luò)，以堅(jiān)定的基石之姿，支撐起中國成為世界最大的互聯(lián)網(wǎng)市場。

隨著全球數(shù)字化、“一帶一路”戰(zhàn)略的推進(jìn)，亞太內(nèi)容分大會(huì)暨CDN峰會(huì)的影響力正在逐漸向全球延伸，同時(shí)也將中國智造CDN及產(chǎn)業(yè)鏈推廣向全球每一個(gè)角落。

近年來，騰訊云深耕對象存儲(chǔ)領(lǐng)域，以技術(shù)創(chuàng)新屢次將存儲(chǔ)領(lǐng)域推上更高臺(tái)階，榮膺亞太內(nèi)容分發(fā)大會(huì)對象存儲(chǔ)領(lǐng)導(dǎo)力獎(jiǎng)。在6月10日下午舉辦的【對象存儲(chǔ)論壇】上，騰訊云存儲(chǔ)技術(shù)總監(jiān) 王淼發(fā)表了題為《對象存儲(chǔ)內(nèi)容分發(fā)應(yīng)用：數(shù)據(jù)處理實(shí)踐》的精彩演講。

近年來，數(shù)據(jù)每年以超過30%-40%的速度爆發(fā)式增長，對于企業(yè)而言如何低成本高效的利用好數(shù)據(jù)就成為了挑戰(zhàn)。數(shù)據(jù)湖作為一個(gè)以原始數(shù)據(jù)格式為存儲(chǔ)的系統(tǒng)，為數(shù)據(jù)分析、數(shù)據(jù)處理、機(jī)器學(xué)習(xí)等提供了極大的便利，而云的擴(kuò)展性、高性能、支持地域的廣泛性、以及云上所提供的豐富的數(shù)據(jù)處理和分析能力，都使其成為數(shù)據(jù)湖理想的載體。

從對象存儲(chǔ)數(shù)據(jù)治理生態(tài)全景圖中可以看到，除了對象存儲(chǔ)標(biāo)準(zhǔn)接口之外，還可以通過消息隊(duì)列、結(jié)構(gòu)化存儲(chǔ)系統(tǒng)、視頻流等多種數(shù)據(jù)源，將數(shù)據(jù)快速方便地入湖，湖上也提供了豐富的數(shù)據(jù)處理和分析能力，消除數(shù)據(jù)孤島，實(shí)現(xiàn)計(jì)算存儲(chǔ)分離，由于部署及架構(gòu)等原因，在業(yè)務(wù)實(shí)踐中也遇到了不少挑戰(zhàn)：主要體現(xiàn)在IO性能，目錄操作以及存算分離需要的大帶寬上，針對這些問題，騰訊云對象存儲(chǔ)作為數(shù)據(jù)湖的底座，提供了多級數(shù)據(jù)加速服務(wù)，以滿足不同場景的需要。

隨后，王淼介紹了騰訊云提供的多級加速服務(wù)：GooseFS作為近計(jì)算節(jié)點(diǎn)的高速緩存，不僅為計(jì)算節(jié)點(diǎn)提供數(shù)據(jù)加速，還能將計(jì)算節(jié)點(diǎn)產(chǎn)生的數(shù)據(jù)寫入緩存，以供二次計(jì)算或加速CDN的分發(fā)；數(shù)據(jù)加速器是部署在各個(gè)AZ的高速緩存集群，在AZ端為熱數(shù)據(jù)提供加速服務(wù)和抗熱點(diǎn)數(shù)據(jù)能力，高速緩存集群采用SSD作為數(shù)據(jù)盤，與計(jì)算集群之間通過高帶寬網(wǎng)絡(luò)連接，為數(shù)據(jù)應(yīng)用訪問COS對象存儲(chǔ)提供Tb級別帶寬資源和毫秒級的時(shí)延；元數(shù)據(jù)加速器主要應(yīng)對文件系統(tǒng)級元數(shù)據(jù)操作，解決對象存儲(chǔ)模擬文件系統(tǒng)的損耗，加速包括list，head的操作以及提供原子性rename接口和一些目錄操作相關(guān)接口。

對象存儲(chǔ)和CDN結(jié)合服務(wù)客戶的過程中，也會(huì)遇到數(shù)據(jù)處理、內(nèi)容安全和容災(zāi)架構(gòu)等方面的挑戰(zhàn)，如何更高效可靠地為用戶提供服務(wù)，王淼分享了騰訊云的經(jīng)驗(yàn)。

數(shù)據(jù)處理-能力建設(shè)

數(shù)據(jù)處理的底層是各種原子能力，包括圖像處理、視頻處理、音頻處理、內(nèi)容審核、文檔處理相等。除了對原子能力做持續(xù)的迭代和優(yōu)化，騰訊云也關(guān)注業(yè)界前沿技術(shù)，保持對前沿技術(shù)的敏感性，在合適的時(shí)機(jī)盡快地應(yīng)用到云上，服務(wù)客戶企業(yè)。

數(shù)據(jù)處理-流程建設(shè)

流程化的演進(jìn)：之前的工作流系統(tǒng)，主要流轉(zhuǎn)于對象存儲(chǔ)和數(shù)據(jù)處理服務(wù)的內(nèi)部，能解決的問題有限，在實(shí)際業(yè)務(wù)的一些場景中，用戶可能需要使用到多個(gè)云產(chǎn)品，那么就需要在多個(gè)產(chǎn)品間進(jìn)行繁瑣的配置，寫很多的接口調(diào)用代碼，既復(fù)雜又容易出錯(cuò)；騰訊云COS通過預(yù)置云函數(shù)，利用簡單的配置，打通多個(gè)云產(chǎn)品，實(shí)現(xiàn)業(yè)務(wù)邏輯快速實(shí)現(xiàn)。

以視頻上傳為例，一個(gè)視頻上傳之后可以通過數(shù)據(jù)處理服務(wù)，配置精彩封面、圖片瘦身等流程化的操作，可以對視頻進(jìn)行高清、標(biāo)清轉(zhuǎn)碼，同時(shí)對視頻進(jìn)行審核，出現(xiàn)違規(guī)視頻可以進(jìn)一步進(jìn)行凍結(jié)。

在工作流演進(jìn)的過程中，對象存儲(chǔ)通過對接函數(shù)服務(wù)，能為客戶提供更多可能：比如圖片瘦身后，可以通過預(yù)熱云函數(shù)直接將圖片預(yù)熱到CDN節(jié)點(diǎn)；審核服務(wù)如果發(fā)現(xiàn)違規(guī)文件，可以通過刷新云函數(shù)把CDN節(jié)點(diǎn)上的違規(guī)數(shù)據(jù)清理掉，防止對業(yè)務(wù)造成損害。函數(shù)服務(wù)也提供自定義函數(shù)的能力，可以對接業(yè)務(wù)系統(tǒng)，對接其他云服務(wù)平臺(tái)，真正讓用戶少操作，少寫代碼，少“踩坑”。

智能化演進(jìn)：智能分層

在對接客戶的時(shí)候經(jīng)常遇到一種場景：客戶希望根據(jù)文件的最后訪問時(shí)間來判斷是否沉降，而對象存儲(chǔ)提供的數(shù)據(jù)沉降、生命周期服務(wù)都是以數(shù)據(jù)上傳時(shí)間為判斷標(biāo)準(zhǔn)，無法滿足這種場景的需求?；谶@一點(diǎn)COS研發(fā)了智能分層服務(wù)，可以根據(jù)用戶文件的訪問頻次、大小、格式，為數(shù)據(jù)提供冷熱分離自動(dòng)化機(jī)制，降低用戶的使用成本。同時(shí)，還提供毫秒級的首字節(jié)響應(yīng)能力，在不斷變化的訪問模式下，首字節(jié)響應(yīng)性能不降低，也不產(chǎn)生費(fèi)用和其他運(yùn)營開銷。經(jīng)測算，智能分層服務(wù)可以為業(yè)務(wù)節(jié)省20%左右的成本。

智能化演進(jìn)：平臺(tái)自適應(yīng)

平臺(tái)自適應(yīng)服務(wù)：cos 與 cdn 深度的結(jié)合，可以針對不同平臺(tái)的特性，分發(fā)給適合當(dāng)前平臺(tái)最優(yōu)的數(shù)據(jù)格式，如支持webp圖片的平臺(tái)，服務(wù)端可智能返回webp格式圖片，如微信小程序平臺(tái)，可智能返回騰訊云自研的tpg格式圖片，讓業(yè)務(wù)能智能的享受到帶寬的節(jié)省和加載速度的提升。

場景化能力

除了提供原子的處理能力、流程化的任務(wù)系統(tǒng)，騰訊云對象存儲(chǔ)最近還推出了兩個(gè)面向垂直場景的服務(wù)：針對視頻監(jiān)控場景的明瞳智控和針對網(wǎng)盤相冊場景的智能媒資托管服務(wù)，后續(xù)對象存儲(chǔ)還會(huì)面向數(shù)據(jù)湖推出更多貼合業(yè)務(wù)場景的輕應(yīng)用能力。

內(nèi)容安全能力

在內(nèi)容安全方面主要面臨的挑戰(zhàn)有以下幾個(gè)方面：一是面臨場景比較復(fù)雜，包括圖片、音視頻、欺詐類的網(wǎng)站、表情包惡搞、病毒程序。二是方式繁多，如隱晦的淫穢涉黃場景，變種文字廣告，拆字、干擾符號(hào)的謾罵。三是技術(shù)對抗增多，如變種繞過策略的手段，AI變臉的對抗。四是產(chǎn)品聯(lián)動(dòng)少，用戶使用的復(fù)雜度高。

內(nèi)容安全能力建設(shè)方面，除了傳統(tǒng)的文本、視頻、圖像、音頻的內(nèi)容審核，騰訊云還在逐步豐富其他場景，比如敏感信息識(shí)別，可以識(shí)別到文本中是否存在身份證號(hào)、用戶電話號(hào)碼等隱私信息；對于一些二進(jìn)制文件，可以識(shí)別是否是病毒或惡意軟件。

自動(dòng)化審核

針對不同的用戶、不同的場景，騰訊云不僅可以提供場景化的運(yùn)營策略，同時(shí)也會(huì)提供一些自動(dòng)化的審核流程。

對象存儲(chǔ)上的審核，主要分為存量審核和增量審核，對存量數(shù)據(jù)審核，COS提供一鍵審核服務(wù)，只需控制臺(tái)配置后，后臺(tái)就會(huì)自動(dòng)進(jìn)行審核，審核完成后可以通過控制臺(tái)下載審核結(jié)果；增量審核服務(wù)，支持對新上傳到對象存儲(chǔ)的文件進(jìn)行自動(dòng)的異步審核服務(wù)，同時(shí)還支持對違規(guī)文件進(jìn)行人工復(fù)審、自動(dòng)凍結(jié)。

一般會(huì)推薦客戶采取高召回的審核策略，確保違規(guī)的文件不會(huì)泄露到外網(wǎng)，因高召回產(chǎn)生的誤判文件，會(huì)通過專業(yè)團(tuán)隊(duì)進(jìn)行人工復(fù)審，把誤判進(jìn)行糾正，最大程度保證違規(guī)文件不泄露，同時(shí)又不誤封業(yè)務(wù)文件、影響業(yè)務(wù)發(fā)展，已經(jīng)發(fā)現(xiàn)的違規(guī)文件，有可能在CDN環(huán)節(jié)被緩存過，COS也支持一鍵配置，對違規(guī)的文件刷新CDN節(jié)點(diǎn)。

高可用方案——多AZ

基于騰訊新一代超大規(guī)模云存儲(chǔ)引擎YottaStore，COS可提供完整的多AZ容災(zāi)能力。在多AZ架構(gòu)中，每個(gè)AZ都部署了存儲(chǔ)集群、高速緩存集群和數(shù)據(jù)處理集群，當(dāng)遇到不可抗力災(zāi)害時(shí)，統(tǒng)一調(diào)度模塊就會(huì)根據(jù)下游的異常，自動(dòng)剔除不能服務(wù)的節(jié)點(diǎn)、AZ，通過其他的AZ能夠提供穩(wěn)定可靠的服務(wù)。

高可用方案——跨園區(qū)

有一些業(yè)務(wù)，希望能提供地域級別的保障服務(wù)，COS也支持跨園區(qū)高可用方案：上傳請求通過高可用域名寫入主站，同時(shí)會(huì)異步的把數(shù)據(jù)同步到其他地域的備站，讀請求通過CDN節(jié)點(diǎn)回源到主站后，主站會(huì)把資源及實(shí)時(shí)處理后的資源異步寫入到異地的備站緩存中，確保主站異常，CDN去備站訪問時(shí)，備站的緩存集群有主站的熱緩存數(shù)據(jù)，能夠穩(wěn)定可靠的為業(yè)務(wù)提供服務(wù)。

值得一提的是跨園區(qū)方案是全球可用的，所以在跨國場景下也可以使用這個(gè)方案，實(shí)現(xiàn)國內(nèi)外園區(qū)間的數(shù)據(jù)同步，同時(shí)國內(nèi)外CDN也可以配置不同的源站，就近回源，最大程度上提升用戶訪問速度和體驗(yàn)。

最后，王淼表示，存儲(chǔ)是很多服務(wù)的基石，未來圍繞著存儲(chǔ)可以創(chuàng)造出無限的可能！