在6月10日下午舉辦的亞太內(nèi)容分發(fā)大會暨CDN峰會【運營商論壇】上，浩瀚深度應用產(chǎn)品部經(jīng)理劉少凱發(fā)表了題為《IDC數(shù)據(jù)中心內(nèi)容運營一體化解決方案》的精彩演講。

首先劉少凱分析了目前IDC和CDN市場的發(fā)展趨勢，隨著5G等新興技術(shù)的日益成熟，數(shù)據(jù)中心也在飛速的發(fā)展。據(jù)Gartner的數(shù)據(jù)顯示，到2020年中國數(shù)據(jù)中心總收入達到了一千五百億；IDC行業(yè)每年保持著30%的復合增長率。中國CDN市場預計到2022年達到約一千四百億元的市場規(guī)模。

全球每個數(shù)據(jù)中心的規(guī)模也在日益增長；據(jù)不完全統(tǒng)計，2019年年底我國數(shù)據(jù)中心數(shù)量達到了288萬。因此無論是CDN還是數(shù)據(jù)中心，目前都面臨著非常激烈的競爭，降本增效成為關(guān)注的焦點。

如何降低成本、增加效益？劉少凱歸納了四個方面：

第一 安全防護

第二 鏈路高效

第三 質(zhì)量穩(wěn)定

第四 智能運維

浩瀚深度成立于1994年，二十余年來一直致力于互聯(lián)網(wǎng)流量采集、流量挖掘以及流量可視化和大數(shù)據(jù)應用范疇；目前主要應用于運營商和垂直行業(yè)客戶，在DPI領(lǐng)域耕耘多年。目前，浩瀚深度已在運營商的關(guān)鍵鏈路出口（省網(wǎng)和IDC等出口）部署了大量專業(yè)的數(shù)據(jù)采集設(shè)備。

浩瀚深度通過DPI技術(shù)對鏈路流量進行高速采集、合成、挖掘，把這些流量轉(zhuǎn)換為格式化的日志，傳輸至大數(shù)據(jù)平臺，進而提供一體化的內(nèi)容運營的解決方案。

劉少凱首先介紹了CDN和IDC數(shù)據(jù)中心出口的DPI的設(shè)備。DPI設(shè)備承載了浩瀚深度25年的技術(shù)積累，是目前最高密度的設(shè)備，單臺支持處理的流量能達4.8T，在業(yè)界處于領(lǐng)先水平，且支持百G和十G的混合部署。劉少凱該將設(shè)備的核心功能點歸納為三大類：

第一大類就是業(yè)務(wù)識別，支持串接在關(guān)鍵的鏈路出口，對網(wǎng)絡(luò)流量進行識別、分類，目前支持五千多種業(yè)務(wù)的識別。

第二大類是流量控制功能，能根據(jù)IP地址、端口、業(yè)務(wù)等多種維度進行流量控制或者封堵。

第三大類是流量的鏡像和轉(zhuǎn)發(fā)，根據(jù)特定的規(guī)則、特定的策略對流量進行轉(zhuǎn)發(fā)。

目前浩瀚DPI設(shè)備已經(jīng)廣泛部署在運營商和CDN服務(wù)商出口，覆蓋鏈路僅2018-2020年就增加300Tbps。流量采集之后，把高速鏈路中的流量進行采集、識別、合成，最后生成大量的格式化的數(shù)據(jù)，浩瀚深度的全國日增數(shù)據(jù)處理量達PB級。

除了DPI專用的設(shè)備，浩瀚深度也在大數(shù)據(jù)平臺的PaaS層耕耘了十多年，自研了順水云大數(shù)據(jù)平臺。采集層除了支持對DPI數(shù)據(jù)的采集，同時支持實時數(shù)據(jù)、分布式數(shù)據(jù)的采集。浩瀚深度自研了高性能的傳輸軟件，無論是壓縮性能還是傳輸安全性、可靠性，都比開源軟件有很大提升。

數(shù)據(jù)存儲方面，浩瀚也在研發(fā)高密度存儲設(shè)備，支持現(xiàn)在市面上主流的分布式文件存儲、塊存儲等。計算層是重中之重，目前支持實時計算、離線運算以及交互式查詢，關(guān)于交互式產(chǎn)品，浩瀚自研的索引機制能支持幾十億的數(shù)據(jù)快速查詢。

除了核心的計算引擎，另外浩瀚還在機器學習、人工智能方面構(gòu)建很多模型，如電信行業(yè)的數(shù)據(jù)模型。此外，浩瀚深度還配套了很多邊緣系統(tǒng)，比如數(shù)據(jù)治理、元數(shù)據(jù)管理、數(shù)據(jù)血緣關(guān)系管理，以及自動化運維平臺，包括對設(shè)備、服務(wù)器、交換機全域硬件狀態(tài)檢測。數(shù)據(jù)安全方面，浩瀚深度自研了大數(shù)據(jù)多租戶安全管控，全面防護數(shù)據(jù)安全、計算資源濫用。

劉少凱總結(jié)說，浩瀚深度的DPI設(shè)備部署在數(shù)據(jù)中心和CDN出口，源源不斷地對流量進行實時的采集和挖掘，形成格式化日志流量的數(shù)據(jù)，傳輸至大數(shù)據(jù)平臺，進行CDN和數(shù)據(jù)中心的數(shù)據(jù)挖掘，最終形成上層的應用。

具體而言，劉少凱列舉了四方面：

第一是客戶安全管理，主要是數(shù)據(jù)中心和CDN客戶行為合規(guī)（違規(guī)行為檢測）管理。

第二是流量內(nèi)容運營，主要針對內(nèi)容，對CDN和數(shù)據(jù)中心內(nèi)的流量進行全路徑的可視化。

第三是質(zhì)量感知溯源，對網(wǎng)絡(luò)層面、專題質(zhì)量層面的網(wǎng)絡(luò)指標進行刻畫，對低感質(zhì)差情況進行挖掘發(fā)現(xiàn)，進而質(zhì)差現(xiàn)象進行定位定界。

第四是是智能運維，對數(shù)據(jù)中心和CDN內(nèi)硬件設(shè)備、軟件進程等狀態(tài)進行監(jiān)控告警，提升整個系統(tǒng)的穩(wěn)定性。

隨后，劉少凱對上述四點展開進行了介紹：

01 客戶安全管理

1）針對CDN或數(shù)據(jù)中心存在的黑寬帶、私自違規(guī)連接情況，浩瀚深度能夠通過DPI手段獲取流量特征、用戶行為特征，能夠找出寬帶的轉(zhuǎn)租轉(zhuǎn)售甚至違規(guī)資源些并做一鍵處置。

2）流量跨網(wǎng)絡(luò)后，其傳輸?shù)臅r延明顯增加，質(zhì)量下降。浩瀚深度能夠幫助CDN和數(shù)據(jù)中心把資源調(diào)度盡可能靠近用戶側(cè)，以提升用戶質(zhì)量感知。對此，浩瀚深度的實時檢測包括了數(shù)據(jù)中心的回源流量和流量吞吐異常情況挖掘，并及時進行告警。

3）鑒于上述違規(guī)行為，設(shè)備通過策略下發(fā)，能夠?qū)`規(guī)內(nèi)容流量進行有效的控制。

02 流量內(nèi)容運營

浩瀚深度DPI設(shè)備串接在CDN的出口，能夠?qū)⑺型ㄟ^CDN的流量、采集、挖掘，如此以來就能夠從ICP、業(yè)務(wù)、流向、出口等維度進行流量可視化；并對中間承載的業(yè)務(wù)資源以及客戶的網(wǎng)絡(luò)資源進行資源空間測繪，把熱點資源全部可視化呈現(xiàn)出來，為CDN和數(shù)據(jù)中心對資源的引入和資源的分布提供最優(yōu)化的建議。

03 質(zhì)量感知溯源

通過對底層網(wǎng)絡(luò)指標的剖析挖掘，分為兩大類，第一大類是對于網(wǎng)絡(luò)通用的指標，比如客戶端時延、服務(wù)端時延、首包時延、下載速率等進行監(jiān)控和可視化。第二大類是對于專題的質(zhì)量，針對大流量應用如視頻的特有指標——畫質(zhì)、清晰度轉(zhuǎn)換、卡頓等解析。進而找到低感、質(zhì)差的情況并進行告警。第二步，在發(fā)現(xiàn)這些現(xiàn)象的同時能夠進行精細化的定位，甄別是用戶側(cè)、鏈路側(cè)還是資源側(cè)出現(xiàn)了問題，之后把清單依據(jù)提交給數(shù)據(jù)中心或CDN做排查整頓，完成后又回到系統(tǒng)里面做這種閉環(huán)的監(jiān)測，對比監(jiān)測問題解決效果。

04 智能運維管理

智能化運維主要分為三部分，第一部分是說對數(shù)據(jù)中心甚至CDN全域內(nèi)所有硬件、所有的設(shè)備進行狀態(tài)的檢測和資源利用率的監(jiān)控。第二部分是作業(yè)平臺監(jiān)控，浩瀚深度正在構(gòu)建自動化運維大平臺，通過中心管控的方式實現(xiàn)一鍵化的下發(fā)命令、批量腳本、文件的上傳和下載等操作。第三部分是流量的監(jiān)控和核對，從CDN出口或者IDC出口，流量的進入、流量的采集、流量的合成、流量的處理、流量的輸出，最后數(shù)據(jù)進入大數(shù)據(jù)平臺進行每一個階段的處理、挖掘、生成，每一個階段都設(shè)置合理的監(jiān)控點，實現(xiàn)對整個數(shù)據(jù)通路全流程的可視化。一旦某個問題出現(xiàn)的時候，監(jiān)控平臺就會出現(xiàn)斷點拉平，很清楚地發(fā)現(xiàn)到底是哪個環(huán)節(jié)出現(xiàn)了問題，進而及時進行保障，提高整個系統(tǒng)的可靠性。