王榮剛：建立中國(guó)自主視頻技術(shù)生態(tài)

文 / 王榮剛

整理 / LiveVideoStack

直播回放：

https://www./web/playback/index?classid=18072579438145&session_id=201807260&token=PsTmsjVpbRht681rrJ0J_Xl0fbNahfHFmF1doYNdca5XBFzghyiw19mnJwk0S3tXOBORUT217bsKp0fXMnVKLQ

大家做視頻技術(shù)的都知道,，視頻跟其他的數(shù)據(jù)不太一樣，因?yàn)樗枰粋€(gè)生態(tài),。由于視頻的數(shù)據(jù)量特別大,，它無法通過原始格式在網(wǎng)上傳輸，因此在這里就涉及到壓縮,，壓縮就涉及到壓縮算法的問題。壓縮算法需要滿足大家可以互聯(lián)互通,，這里涉及到要有一個(gè)共同的標(biāo)準(zhǔn)或者規(guī)范,。在過去的差不多30多年，視頻技術(shù)的發(fā)展一直都是靠視頻編碼標(biāo)準(zhǔn)推動(dòng)的,。

今天的內(nèi)容主要圍繞下面幾個(gè)方面：

行業(yè)背景

1,、超高清視頻發(fā)展趨勢(shì)

在行業(yè)背景方面，視頻的技術(shù)發(fā)展是朝著超高清方向來發(fā)展的,，就是不斷的向現(xiàn)實(shí)逼近,，我們過去都是標(biāo)清，后來又到高清3D,，最近的是4K,，包括還有VR，如上面所列的一些大的事件,，這些大的事件都是推動(dòng)了4K或者超高清視頻技術(shù)的使用或應(yīng)用,，這里面比較有代表性的就是世界杯采用了4K的直播技術(shù),，而8K和VR也是近幾年馬上就要推行的事情。

2,、視頻編碼挑戰(zhàn)依舊

對(duì)視頻壓縮技術(shù)的挑戰(zhàn)還是依舊的,，這里面列了從高清到4K的壓縮碼率的情況。現(xiàn)在以4K為例,，如果要保證一個(gè)非常高的質(zhì)量,，像廣播電視領(lǐng)域，它用的這個(gè)帶寬還是非常高的,。差不多傳4K的視頻要40M左右的碼率,，到后面8K，VR所需的帶寬就會(huì)更高,，對(duì)視頻壓縮技術(shù)的需求依然是存在的,。

3、國(guó)際視頻編碼標(biāo)準(zhǔn)演進(jìn)

我們看一下國(guó)際視頻編碼標(biāo)準(zhǔn)演進(jìn)的情況,，一般認(rèn)為第一代標(biāo)準(zhǔn)是MPEG2,，MPEG2的典型應(yīng)用就是標(biāo)清視頻，比如說DVD,，傳統(tǒng)的廣播電視都是MPEG2,，到第二代標(biāo)準(zhǔn)就是以H264為代表的，那它的應(yīng)用是高清視頻的傳輸,，到現(xiàn)在是第三代標(biāo)準(zhǔn),，那就是以H.265為代表的，它的目標(biāo)是傳輸超高清的視頻,。在后面我會(huì)講,，H.265面臨一個(gè)授權(quán)成本過高或者風(fēng)險(xiǎn)過高的問題，由于這樣的背景,，現(xiàn)在出現(xiàn)了幾個(gè)新的挑戰(zhàn)者,，包括Google主導(dǎo)的AV1，也包括我們國(guó)家制訂的AVS2的標(biāo)準(zhǔn),，這個(gè)是第三代標(biāo)準(zhǔn)?，F(xiàn)在國(guó)際上MPEG和ITO正在聯(lián)合制訂第四代，叫H.266/VVC,，實(shí)際上國(guó)內(nèi)的AVS工作組也在制訂下一代的標(biāo)準(zhǔn)AVS3,。

4、HEVC/H.265標(biāo)準(zhǔn)專利收費(fèi)亂局

現(xiàn)在的視頻大部分的壓縮格式采用的還是H.264標(biāo)準(zhǔn),，H.265或者其他格式所占的流量還是很少的,，這里面有個(gè)主要的原因就是H.265的知識(shí)產(chǎn)權(quán)的政策跟H.264有很大的不同，這張圖給出了目前已經(jīng)知道的H.265的專利權(quán)所有者：

這個(gè)里面有三個(gè)圈，這三個(gè)圈代表三個(gè)不同的專利池,，所謂的專利池就是說大家組團(tuán)收專利費(fèi)的意思,。在MPEG2和H.264時(shí)代沒有這么多專利池，只有一個(gè)MPEG LA的專利池,，專利池的好處就是對(duì)一個(gè)標(biāo)準(zhǔn)的使用者來說,，它交這個(gè)專利費(fèi)，只要符合專利池的政策,，按照專利池的政策收費(fèi)標(biāo)準(zhǔn)來繳費(fèi)就可以了,，他不用去跟每個(gè)專利權(quán)人單獨(dú)去談。但是到了H.265這個(gè)標(biāo)準(zhǔn)以后就有一個(gè)很大的變化,，有一些專利權(quán)人不再對(duì)MPEG LA制訂的收費(fèi)政策感到那么滿意了,，他們想再搞一套自己的收費(fèi)政策，所以就出現(xiàn)了HEVC Advance,，Velos Media兩個(gè)新的專利池,。除了這兩個(gè)專利池以外，還有大概15家公司不在這三個(gè)專利池里,，他們?cè)噲D單獨(dú)的來授權(quán),，但是在這么多專利擁有者中，只有MPEG  LA,，和HEVC  Advance目前公開了他們的收費(fèi)政策,，Velos Media和另外15家公司始終是沒有公開他們的收費(fèi)政策的。從MPEG LA和HEVC Advance公開的收費(fèi)政策看,，他們的收費(fèi)價(jià)格已經(jīng)比H264基本上高一倍了,，剩下的還沒有公布如何收費(fèi)的，不知道應(yīng)該交多少錢,，也就造成了H.265專利收費(fèi)的亂局,，這在國(guó)際上引起了廣泛的憂慮。

AVS2標(biāo)準(zhǔn)

1,、AVS工作組

AVS工作組是數(shù)字音視頻編解碼技術(shù)標(biāo)準(zhǔn)工作組的簡(jiǎn)稱,，由國(guó)家工信部于2002年6月批準(zhǔn)成立。工作組的任務(wù)是向我國(guó)的信息產(chǎn)業(yè)需求,，聯(lián)合國(guó)內(nèi)企業(yè)和科研機(jī)構(gòu)，制（修）訂數(shù)字音視頻的壓縮,、解壓縮,、處理和表示等共性技術(shù)標(biāo)準(zhǔn)。目前有近100家會(huì)員單位,。這里面包括華為,，中興，騰訊，還有一些學(xué)校,，北大,、清華，浙大和上海交大等等,，工作組除了制訂視頻標(biāo)準(zhǔn)以外,，還制訂音頻標(biāo)準(zhǔn)，系統(tǒng)層的標(biāo)準(zhǔn),。最近,，這個(gè)工作組還在往人工智能方向擴(kuò)展，新成立了一個(gè)基于AI的工作組,，這個(gè)AI工作組里面,，也會(huì)做一些人工智能方面的一些基礎(chǔ)共性的標(biāo)準(zhǔn)。

2,、AVS標(biāo)準(zhǔn)授權(quán)政策

AVS標(biāo)準(zhǔn)的一大創(chuàng)新是在標(biāo)準(zhǔn)制定之前先確立許可模式,，有效避免類似HEVC收費(fèi)亂局，凡是向AVS工作組提交技術(shù)和提案的單位都需要對(duì)其專利許可意向做出承諾,，允許“免費(fèi)使用”或者“加入AVS專利池”,。 AVS專利池管理委員會(huì)出臺(tái)《關(guān)于AVS2專利池許可的建議性規(guī)定》，在規(guī)定中指出,，AVS2的專利授權(quán)采用一站式許可模式,，只對(duì)設(shè)備象征性收費(fèi)，不對(duì)內(nèi)容服務(wù)收費(fèi),，對(duì)互聯(lián)網(wǎng)上的軟件服務(wù)免收專利費(fèi),。

3、AVS視頻標(biāo)準(zhǔn)演進(jìn)過程及技術(shù)框架

AVS標(biāo)準(zhǔn)的演進(jìn)過程,，實(shí)際上主要是有兩代標(biāo)準(zhǔn)：第一代叫AVS1標(biāo)準(zhǔn),，于2006年發(fā)布成了國(guó)標(biāo)，它的主要應(yīng)用場(chǎng)景是地面電視,，到了2012年,，AVS1做了一些小的改進(jìn)，發(fā)布成了一個(gè)新的廣電的行標(biāo)叫AVS+,，這個(gè)主要在高清衛(wèi)星上面應(yīng)用,，現(xiàn)在大家看到的央視上帶星的高清節(jié)目，都是用的AVS+標(biāo)準(zhǔn),，第二代叫AVS2標(biāo)準(zhǔn),，是面向超高清的視頻應(yīng)用的，于2016年12月份發(fā)布成了國(guó)標(biāo),。

AVS2技術(shù)的基本框架和MPEG2及H.264是類似的,，依舊是變換加預(yù)測(cè)的混合架構(gòu),，這里面在每一個(gè)模塊上都做了一些技術(shù)上的革新，大概在性能上就比上一代H.264,，或者AVS1,，AVS+提升了一倍以上。

4,、AVS2編碼效率優(yōu)于HEVC

與HEVC做對(duì)比,，在PSNR相同的情況下，碼率相對(duì)低就是負(fù)值,，碼率高就是正值,，在這個(gè)表里負(fù)值就表示AVS2好，正值就表示HEVC好,。從不同的應(yīng)用場(chǎng)景來綜合評(píng)估下來,，AVS2總體上的編碼效率優(yōu)于HEVC。

國(guó)家廣播電影電視總局廣播電視計(jì)量檢測(cè)中心做了一個(gè)主觀測(cè)試,，這個(gè)主觀測(cè)試是針對(duì)了8個(gè)4K,、10bit的視頻序列，目標(biāo)平均碼率為36Mbps,，在這個(gè)碼率條件下,，AVS2和HEVC用的都是參考軟件來壓縮的，參考軟件基本上可以達(dá)到的最優(yōu)的性能,。

從這個(gè)主觀測(cè)試的結(jié)果來看,，AVS2略優(yōu)。

5,、國(guó)際化：AVS2被UHD Forum采納

2018.年3月,，UHD Forum經(jīng)過長(zhǎng)時(shí)間的調(diào)研和分析論證，最終一致認(rèn)為AVS2性能優(yōu)異,、產(chǎn)業(yè)鏈成熟,、專利授權(quán)政策優(yōu)惠，最終決定把AVS2列為和H.265并列的超高清編碼標(biāo)準(zhǔn),，推薦給全球的TV和視頻業(yè)務(wù)運(yùn)營(yíng)商使用,。

AVS2實(shí)現(xiàn)

1、AVS2解碼芯片

1）AVS2 4K量產(chǎn)芯片廠商：華為海思,，Hi3796MV200,，AVS2 全4K解碼芯片

MStar， MSO9385,，AVS2 全4K解碼芯片

2）年內(nèi)將推出AVS2芯片的廠商：中興微,、Amlogic、全志,、瑞芯微

2,、AVS2廣播級(jí)全4K編碼器

AVS2 4K/50P/10bit 實(shí)時(shí)編碼器廠商：目前至少有柯維新（東華廣信），數(shù)碼視訊,，算通,，當(dāng)虹科技，上海國(guó)貿(mào)等, 現(xiàn)在有一些質(zhì)量比較好的編碼器主觀質(zhì)量損失低于8%的,，廣播級(jí)要求是平均低于12%,，低于8%是一個(gè)不錯(cuò)的質(zhì)量。

3,、AVS2開源編碼器——xAVS2

2018 年 1 月 31 日,，北京大學(xué)數(shù)字視頻編解碼技術(shù)國(guó)家工程實(shí)驗(yàn)室開源了 AVS2 高清實(shí)時(shí)編碼器 xAVS2。

這兩張圖是xAVS2和X265性能的對(duì)比,，這里面橫坐標(biāo)代表的是編碼效率的損失,，縱坐標(biāo)是編碼速度，橫坐標(biāo)就是橫軸值越小越好,，縱軸是值越大越好,，針對(duì)UHD來說二者是相當(dāng)?shù)模槍?duì)HD來說,，xAVS2在相同的編碼效率條件下比x265速度快,，或者反過來說相同速度條件下比它的編碼效率高。

4,、AVS2全平臺(tái)商用編解碼內(nèi)核-uAVS2

2017 年 10 月,，北京大學(xué)深圳研究生院數(shù)字媒體研究中心推出多平臺(tái)AVS2編解碼內(nèi)核-uAVS2，它的特點(diǎn)如下：

• 編碼速度是x265的3~10倍

• 解碼速度是openHEVC的3倍

• 支持Linux/Windows/Android/iOS多平臺(tái)

• 支持4K/50P/10bit 實(shí)時(shí)編碼

1）uAVS2編碼器

下面的兩張圖給的就是uAVS2和x265的一個(gè)對(duì)比情況,，這里面的紅的實(shí)線和藍(lán)的實(shí)線是uAVS2,，虛線是x265,，上面是單線程的,，下面是多線程的，同樣這個(gè)橫軸是編碼效率的損失,，縱軸是編碼速度,，橫軸的值越小越好，縱軸的值越大越好,。編碼效率損失是說這個(gè)編碼器跟參考軟件相比來說,，編碼效率的損失，因?yàn)閰⒖架浖谴砹俗顑?yōu)的客觀性能,。但是由于參考軟件的最大的問題是速度特別慢,，沒有辦法做實(shí)時(shí)應(yīng)用，做實(shí)時(shí)編碼器的時(shí)候必然會(huì)犧牲一些編碼效率來提升編碼速度,。在這兩張圖,，很明顯可以看出來,，當(dāng)編碼速度類似時(shí)，uAVS2大概比X265的編碼效率高10%到30%,，如果編碼效率類似,， uAVS2比x265會(huì)快3到10倍。

2）uAVS2移動(dòng)編解碼器

在移動(dòng)平臺(tái)解碼速度比openHEVC快2倍,，華為P20手機(jī)可以實(shí)現(xiàn)4K/30P視頻實(shí)時(shí)解碼,，720P實(shí)時(shí)編碼。對(duì)于1080P/3Mbps實(shí)時(shí)解碼, CPU使用率不足10%,。

上面表格就是我們做的解碼器跟OpenHEVC解碼器的速度的對(duì)比,，值得一提的是在手機(jī)上面做軟件的解碼跟硬解碼的功耗水平實(shí)際上都開始接近了，下面這兩張表是我們最近測(cè)的一個(gè)結(jié)果,，我們?cè)谑謾C(jī)端去測(cè)試視頻播放的時(shí)候,，比較軟解和硬解功耗的差異，第一張表是給的是一組720P的視頻,，各種典型的場(chǎng)景都有的,，對(duì)比了這個(gè)四種不同的手機(jī)的機(jī)器，分別是三星的S3,，iPhone6,，iPhone6S，iPhone8,，三星S3和 iPhone 6比較老的手機(jī)了,，iPhone8是目前比較新的，我們可以看出在線播放720P視頻的時(shí)候功耗的水平以及H.264的硬解和軟解,，在三星S3上是差異是比較大的,，但是在iPhone6，iPhone6S,，iPhone8差異并沒有那么大,，只有百分之十幾。那我們看下面第二張表,，就是AVS2的軟解和H.264硬解之間的功耗的差別,，這個(gè)我們對(duì)比了三組不同的分辨率的視頻，分別是480P,，720P和1080P,，我們看在480P，AVS2的軟解和H.264的硬解基本上沒有太大差異,，只有1%的功耗差,，在720P上面二者差異也很小，只有8%的功耗差,，當(dāng)峰值到了1080P,，二者也只差了11%,，當(dāng)然這個(gè)是在iPhone8上測(cè)的，現(xiàn)在大家都知道手機(jī)上面能夠支持的視頻的服務(wù)最高的分辨率也就是1080P,，這張表已經(jīng)說明,，在手機(jī)上面，軟解就夠用了,。就是對(duì)大多數(shù)的應(yīng)用場(chǎng)景來說，即使AVS2在手機(jī)上沒有芯片硬解的支持,，軟解也是完全可以上線了,。

3）全4K視頻編碼器：uAVS2-4K

基于uAVS2的全4K視頻編碼器有兩個(gè)配置，一個(gè)配置用來做離線轉(zhuǎn)碼,，它的編碼速度達(dá)不到實(shí)時(shí),，但是編碼性能調(diào)的比較優(yōu)，我們把這個(gè)最優(yōu)的配置和HEVC的參考軟件做了一個(gè)對(duì)比,，針對(duì)全4K的視頻系列平均比這個(gè)HEVC的參考軟件編碼效率高7.4%,，速度大概是HEVC編碼器的參考軟件的幾百倍。

另外一個(gè)配置就是快速配置,，這個(gè)快速配置就是可以來做全4K視頻實(shí)時(shí)編碼的配置,，與X265類似的配置去對(duì)比，比它的編碼效率高30%,，同時(shí)編碼速度還比它快40%,，這個(gè)目前是可用的。目前uAVS2-4K已經(jīng)被集成到多款商用AVS2 4K編碼器中,。

4）監(jiān)控視頻編解碼內(nèi)核：uAVS2-S

監(jiān)控視頻編解碼內(nèi)核uAVS2-S比HEVC/H.265編碼效率高30%以上,，能大幅節(jié)約監(jiān)控視頻傳輸帶寬和存儲(chǔ)成本。

5）圖像編解碼內(nèi)核: uAVS2-I

與騰訊合作,，基于uAVS2-I推出新一代圖像壓縮格式TPG,，比JPG高 47%， 比PNG高60%,，比GIF高85%,，比WebP高25%。

6）AVS2云轉(zhuǎn)碼服務(wù)

AVS2云轉(zhuǎn)碼服務(wù)支持H.264,、H.265和AVS2標(biāo)準(zhǔn)互轉(zhuǎn),，支持JPEG、PNG,、GIF等格式和TPG互轉(zhuǎn),，支持AI去噪、超分辨率,、超幀率等畫質(zhì)增強(qiáng)功能,，并且是和華為云合作推廣,，計(jì)算資源彈性可調(diào)、可在私有云和公有云等平臺(tái)部署,。

AVS2應(yīng)用

1,、4K電視廣播

        2017年11月，國(guó)家廣電總局發(fā)文規(guī)范4K超高清電視發(fā)展,，明確要求統(tǒng)一采用AVS2 標(biāo)準(zhǔn),；2018年初，廣東省正式上線AVS2 4K直播頻道和IPTV點(diǎn)播專區(qū),，要求在10月以后新上線4K節(jié)目支持AVS2標(biāo)準(zhǔn),；2018年5月，央視聯(lián)通端到端AVS2 4K系統(tǒng),，計(jì)劃10月1日開通AVS2 4K頻道,。

2、IPTV/OTT

        2018年3月30日,，由中關(guān)村視聽產(chǎn)業(yè)技術(shù)創(chuàng)新聯(lián)盟會(huì)同中國(guó)智慧家庭產(chǎn)業(yè)聯(lián)盟,、中國(guó)視頻體驗(yàn)聯(lián)盟、廣東4K生態(tài)產(chǎn)業(yè)聯(lián)盟及眾多相關(guān)企業(yè)等編寫的《IPTV 業(yè)務(wù)系統(tǒng)AVS2實(shí)施指南（2018年）》正式發(fā)布,。

3,、互聯(lián)網(wǎng)視頻

        支持互聯(lián)網(wǎng)和移動(dòng)平臺(tái)視頻/游戲直播、點(diǎn)播,、實(shí)時(shí)通信等應(yīng)用,，與華為云合作推廣，近期上線,。

4,、AI畫質(zhì)增強(qiáng)

基于AI技術(shù)實(shí)現(xiàn)老電影/電視劇/動(dòng)畫修復(fù)，壓縮噪聲去除,，超分辨率/超幀率/色域提升/SD轉(zhuǎn)HDR,。

5、互聯(lián)網(wǎng)圖像

        在互聯(lián)網(wǎng)圖像方面,，我們與騰訊合作一起推行一個(gè)叫TPG的標(biāo)準(zhǔn),，目前這個(gè)TPG 標(biāo)準(zhǔn)，已經(jīng)在騰訊的九大產(chǎn)品線部署了,，包括手機(jī)QQ,，QQ空間，手機(jī)管家,，QQ瀏覽器,，騰訊視頻的客戶端，新聞，騰訊體育動(dòng)漫等等,，另外也在騰訊云上面部署了TPG,，而且騰訊瀏覽器的內(nèi)核，X5內(nèi)核也完成了TPG的支持,，現(xiàn)在還有游戲的引擎的廠商接入了TPG的格式,，這個(gè)TPG它的優(yōu)勢(shì)在于：一呢，省流量,、省存儲(chǔ),，二是讓頁面或者圖片的加載速度大幅度提升，大概提升到30%以上,。

6,、監(jiān)控視頻

在參與雪亮工程和平安城市建設(shè)的過程中，發(fā)現(xiàn)監(jiān)控視頻有對(duì)轉(zhuǎn)碼的需求,，就是前端攝像頭產(chǎn)生的視頻流碼率依然很高（H.264 4Mbps/H.265 2Mbps），要做一次二次的壓縮,，然后在一些這個(gè)帶寬受限的網(wǎng)絡(luò)上進(jìn)行傳輸,，再傳到后臺(tái)，這個(gè)是前端轉(zhuǎn)碼,；還有一個(gè)應(yīng)用是后端轉(zhuǎn)碼,，就是監(jiān)控?cái)z像頭下面的數(shù)據(jù)在后臺(tái)通過服務(wù)器來轉(zhuǎn)碼，這樣是為了節(jié)省存儲(chǔ)空間,。AVS2由于采用了背景幀技術(shù)可以大幅度提升二次壓縮效率,。

總結(jié)

1，AVS2標(biāo)準(zhǔn)性能優(yōu)異,、授權(quán)政策優(yōu)惠可控

2,，AVS2產(chǎn)業(yè)鏈已經(jīng)成熟，開始在4K,、監(jiān)控,、移動(dòng)互聯(lián)網(wǎng)視頻/圖像等領(lǐng)域應(yīng)用

3,  期待與產(chǎn)業(yè)界密切合作共建中國(guó)自主視頻技術(shù)生態(tài)

Q&A

Q1: TPG網(wǎng)頁加載的優(yōu)化什么原理？

A: 這個(gè)原理很簡(jiǎn)單,，就是因?yàn)門PG同樣的圖片的質(zhì)量,，它壓縮以后的圖片尺寸比原來減少了50%，網(wǎng)頁加載的速度自然就會(huì)變快了,。

Q2: AVS的學(xué)習(xí)資料去哪里找,？

A: 大家可以上AVS工作組的網(wǎng)站，有一個(gè)AVS2的專欄(http://www./avs2/index.asp)上面有一些AVS2的大概的介紹,。另外就是關(guān)注我們的公眾號(hào)【智媒之音】,，上面有關(guān)于AVS2標(biāo)準(zhǔn)的每一項(xiàng)編碼工具的一些比較詳細(xì)的介紹。

Q3: 解釋一下AVS標(biāo)準(zhǔn)國(guó)際化，以及和MPEG合作推廣,？

A: 現(xiàn)在也有一些公司希望在國(guó)際,，國(guó)外來推廣AVS2的標(biāo)準(zhǔn)，那比如其實(shí)我剛才PPT也在講,， UHD Forum實(shí)際上它就是一個(gè)國(guó)際的組織,，跟超高清這個(gè)產(chǎn)業(yè)有關(guān)的國(guó)際上最主流的公司都在里面。現(xiàn)在它實(shí)際上把AVS2作為一個(gè)推薦性的國(guó)際標(biāo)準(zhǔn)已經(jīng)納入進(jìn)去了,，是跟HEVC并列的一個(gè)標(biāo)準(zhǔn),。至于說AVS標(biāo)準(zhǔn)和MPEG合作的問題呢，其實(shí)這個(gè)比較難操作,，就是因?yàn)閮蛇叺纳虡I(yè)模式是不一樣的,，MPEG那邊成員更多，難協(xié)調(diào),，它要改它的商業(yè)模式,，這是基本上不可能實(shí)現(xiàn)的任務(wù)。在技術(shù)上MPEG和AVS有很方便的溝通渠道,，很多AVS標(biāo)準(zhǔn)的參與者同時(shí)參與MPEG標(biāo)準(zhǔn)制定,，MPEG視頻組的組長(zhǎng)虞露老師就是AVS工作組視頻組的前任組長(zhǎng)。

Q4: TPG和HEIF的對(duì)比,？