圖為：北京美攝網(wǎng)絡科技有限公司研發(fā)副總監(jiān) 劉路偉
 

2017年是視頻領域百家爭鳴的階段，短視頻工具、短視頻社區(qū)等都是大家耳熟能詳和日常生活中使用的。2016年底出現(xiàn)了一款名為“抖音”的短視頻產(chǎn)品，當時比較火爆。大家都有一個疑問：抖音這種火爆產(chǎn)品是否是曇花一現(xiàn)?現(xiàn)在已經(jīng)2019年了，抖音并沒有像當時預期的一樣曇花一現(xiàn)，而且現(xiàn)在非常好?？梢钥匆幌露桃曨l的占比，從最開始的百分之幾到現(xiàn)在的百分之十一點四，說明短視頻迎來非常廣闊的發(fā)展前景。
 

美攝科技是2014年左右成立的，核心成員已經(jīng)擁有超過20年的視音頻領域研發(fā)經(jīng)驗。眾所周知，視音頻領域研發(fā)門檻很高，如果一家新興公司想要標榜火山或者是快手等主流視頻廠商，想從零自研視音頻技術，無論是從人力還是物力方面來講都是比較困難的。美攝科技目前所做的就是為客戶提供一套完整的解決方案，能快速靈活的接入進去，低功耗穩(wěn)定的實現(xiàn)它們所需要的主流視音頻功能。
 

美攝的視音頻解決方案能實現(xiàn)哪些功能
 

對于需要視頻處理的用戶來說，最基本的需求功能就是視頻拍攝和編輯功能。視頻拍攝就是從采集階段加入一些特效、人臉貼紙、背景摳像等技術生成源視頻文件，編輯端可以添加字幕、特效濾鏡、轉(zhuǎn)場、主題等等，最終輸出一個完整的效果。在基礎的拍攝和編輯模塊之上，還支持了其他幾個模塊。粒子特效模塊就很像抖音里的“控雨”或者“噴火”效果。
 

AI智能視頻模塊目前應用的領域主要是給手機廠商做些智能相冊，通過對視音頻去人工智能的處理，生成它想要的結果。人臉特效模塊目前使用比較多的是直播、短視頻，女性可進行瘦臉、大眼、美顏美膚等操作。青年朋友還會有更多玩法，如添加面具、添加動物的假臉進行互動。
 

VR模塊也是主流功能，有些客戶需要360度全景視頻，也可以支持對它進行編輯，然后輸出。特效定制是根據(jù)不同的客戶有不同的需求相應的去做定制化開發(fā)服務。
 

這些解決方案美攝在技術層面是如何做到的
 

美攝科技SDK的流媒體技術架構是指在一個流媒體上下文，可以當作美攝科技API的入口，所有數(shù)據(jù)結構的創(chuàng)建、所有API的調(diào)用基本是從它發(fā)起。還有時間線的概念。時間線在采集和編輯線是貫穿始終的，從產(chǎn)品角度來講，它應該是視頻編輯的一條主線，在這條線上可以添加視頻軌道、音頻軌道，從而達到視頻的播放、采集的效果。在視頻軌道上可以添加視頻源，視頻源對應每個視頻的片段，可能是一個電影、一個音頻、一個視頻的部分，也可能是整個視頻。在視頻片段過程中可以添加“轉(zhuǎn)場”，“轉(zhuǎn)場”在視頻領域來說是從一個視頻跳到另一個視頻，中間可能會有動畫效果。對視頻片段和音頻片段支持剪切、移位等對應操作。時間線從剛才的流媒體上下文生成后，在它內(nèi)部可以添加視頻軌道和音頻軌道，在軌道上可以添加視頻片段，從而達到視頻貫穿始終，逐幀播放、逐幀渲染，在時間線軌道上可以添加一些特效。
 

從美攝科技的角度來說，音視頻特效包括變音、包括視頻的一些動畫效果，視頻中間可以添加轉(zhuǎn)場，視頻上面可以添加字幕，字幕可以應用一定的字幕樣式，可以更改字體、大小、挪動位置等，可以把當前的主流玩法加入這里，變成一個貼紙，像是LOGO的樣子，打到視頻里去。主題相當于是特效包裹的結合，可以對編輯的視頻應用一個主題，主題內(nèi)部套用音視頻動效等5個效果。所有的特效都是支持內(nèi)嵌和支持資源包的，資源包的效果可以從SDK外部引入一個包裹，這個包裹可能是美攝科技制作，也有可能是用戶自己制作，通過工具轉(zhuǎn)為包裹，從而在視頻采集和編輯中看到自己的資源包效果，這是整個美攝科技SDK流媒體處理的基本情況。在做視頻解決方案研發(fā)時，面對安卓機器海量機型，甚至有一些印度的客戶低端配置安卓機型。如何讓這些手機做到同樣高效、高質(zhì)量的處理，這也是美攝科技一直在解決的問題。經(jīng)過不斷地研發(fā)積累，現(xiàn)在美攝科技SDK支持對于不同的手機可以選擇不同自定義的級別，包括碼率、分辨率等等，所以能夠達到很好的處理效果。

從產(chǎn)品角度上來說，美攝科技SDK發(fā)展至今，雖然才短短一年多時間，但服務的客戶都是各行業(yè)領域頭部大廠，如OPPO、VIVO、獵豹移動、嗶哩嗶哩、咪咕、映客、知乎、芒果TV、KEEP、房天下、小紅唇、Amazer、Loopnow等。針對于不同的客戶如何滿足不同的需求呢?這跟產(chǎn)品設計、研發(fā)設計上的模塊化功能是分不開的。要降低每個模塊之間的耦合程度，在用戶需要特定的方案時，能夠把這些他需要的功能拼接成一個他想要的效果，并且保留比較低的包的尺寸。因為包的尺寸是移動用戶首要考慮的問題，美攝科技包的尺寸大概在3.5兆左右。支持特效、字幕、貼紙、主題、濾鏡等等?？梢杂捎脩糇远x開發(fā)，然后提供拓展、提供工具、提供模板。用戶的設計人員也可以根據(jù)自己的需求去設計出自己滿意的資源。還支持LUT濾鏡，在設計時可以把原視頻顏色映射到另外的顏色，實現(xiàn)高效率的濾鏡效果。還有一個customvideoEx，包括剛才提到的形式和人臉貼紙和粒子特效。
 

EffectSDK的新玩法
 

以上主要說的是美攝科技流媒體SDK的形式。最新推出的一個叫EffectSDK，這兩個區(qū)別在哪里?流媒體SDK是輸入到輸出去處理。而EffectSDK可以把美攝科技的SDK作為一個渲染的中間件，通過美攝科技去做一定的預處理之后，再輸出給其他需要渲染結果的接收地，從而達到中間件的渲染效果，它支持流媒體相關的功能。
 

最近美攝科技推出的服務器端新產(chǎn)品已經(jīng)上線。比如前一段比較火的軍裝照，對人的面部進行自動處理與預設背景結合生成一個場景圖片。也可以上傳視頻，根據(jù)視頻的內(nèi)容進行結合生成一個有意思的結果出來?，F(xiàn)已在微信端應用了，未來會上到云的部署去做更多更好的優(yōu)化。服務器端處理流程是用戶向服務器端發(fā)送請求，服務器給提供功能方案，中間有些數(shù)據(jù)的交互，用戶可以根據(jù)這些方案選擇想要的素材，這些素材包括特效效果，濾鏡、主題、貼紙等等，等于把所有移動端做的事情放到服務器端去做，最終生成一個產(chǎn)品的效果，這是一個比較新的玩法。
 

云端處理做了哪些技術架構
 

技術是一個CS架構，在云端部署一些服務器，在客戶端和服務器中可能有些交流的組件，從而達到多個用戶同時做視頻處理的功能。這是目前可以支持的服務器端的一個玩法，可以制作音樂相冊，可以對視頻進行高級編輯，高級編輯有兩方面，一種是在特效上有更多玩法，另一種是在分辨率和碼率支持更高質(zhì)量，最高可以支持到8K，如果用戶達到一定規(guī)模，也可以去部署自己的私有服務器。既然視頻都可以處理，圖片美化也都可以做到。包括在上層處理時，圖片和視頻對于用戶來說是一致的，我們對單一圖片做成視頻，視頻上有運動軌跡，像特效一樣支持定制化模板，用戶可以部署自己的云端服務，達到想要的效果。
 

云端服務未來可能會服務于哪些客戶
 

目前在微信公眾號已經(jīng)實現(xiàn)了這個功能，未來電視、教育行業(yè)、電商、手機廠商等等是不是也有應用云端部署的場景，這也是美攝科技思索的一個方向。