本次直播,，我們邀來南京萬生華態(tài)EcoPlants CEO彭程，為大家分享PBRMAX標(biāo)準(zhǔn)與超寫實(shí)AI數(shù)字人中的相關(guān)內(nèi)容,。 直播中還會為Renderbus瑞云渲染影視動畫用戶的年中充值抽獎活動開獎,！英偉達(dá)Quadro RTX4000、堅(jiān)果J7S投影儀、Bose SoundLink Revolve+ 藍(lán)牙音響和華為手表GT2等多重豪禮將花落誰家,，誠邀您一起見證幸運(yùn)時(shí)刻,！

本次直播，我們邀來南京萬生華態(tài)EcoPlants CEO彭程,，為大家分享PBRMAX標(biāo)準(zhǔn)與超寫實(shí)AI數(shù)字人中的相關(guān)內(nèi)容,。

直播中還會為Renderbus瑞云渲染影視動畫用戶的年中充值抽獎活動開獎！英偉達(dá)Quadro RTX4000,、堅(jiān)果J7S投影儀,、Bose SoundLink Revolve+ 藍(lán)牙音響和華為手表GT2等多重豪禮將花落誰家，誠邀您一起見證幸運(yùn)時(shí)刻,！

01,、嘉賓介紹

彭程是南京萬生華態(tài)科技有限公司的創(chuàng)始人兼CEO，連續(xù)創(chuàng)業(yè)者,，中國科技藝術(shù)新生代領(lǐng)軍人物,。

他曾就讀于紐約視覺藝術(shù)學(xué)院，羅德島設(shè)計(jì)學(xué)院,，薩凡納藝術(shù)學(xué)院以及哥德堡大學(xué),。精通工業(yè)、影視,、特效及傳媒等跨行業(yè)的創(chuàng)新整合,。致力于打造全球最大的影視PBR數(shù)字資產(chǎn)庫，及影視工業(yè)化流程軟件解決方案,。

萬生華態(tài)EcoPlants（簡稱：萬生華態(tài)）目前是國內(nèi)唯一一家能夠批量生產(chǎn)高精度3D掃描模型和PBR材質(zhì)的科技公司,，為影視娛樂、教育,、工業(yè)設(shè)計(jì),、游戲、數(shù)字文旅等行業(yè)提供最前沿的一站式軟硬件解決方案,，其中包含3D數(shù)字資產(chǎn)與PBR材質(zhì)庫,、軟件協(xié)同平臺、數(shù)字人虛擬拍攝流程,、實(shí)時(shí)渲染云等,，將為無數(shù)創(chuàng)作者帶來革命性的創(chuàng)作體驗(yàn)。

今年的中國航天日,，《飛向月球Ⅱ》震撼上演,。萬生華態(tài)與中央廣播電視總臺聯(lián)合打造的全球首位 "數(shù)字航天員"在《飛向月球Ⅱ》中成功登陸月球。

02,、全球首位“數(shù)字宇航員”

《飛向月球Ⅱ》在視覺呈現(xiàn)上進(jìn)行全面的飛躍式升級,，萬生華態(tài)先進(jìn)的技術(shù)手段是深化中央廣播電視總臺“5G+4K/8K+AI”戰(zhàn)略格局的基礎(chǔ)支撐。為了還原出極為逼真的月球探索歷程，萬生華態(tài)依托原創(chuàng)混合現(xiàn)實(shí)（IMR) 超高清電視制作平臺,，通過對央視主持人張騰岳進(jìn)行測量攝影,，完成人物數(shù)字資產(chǎn)采集；并且利用AI深度學(xué)習(xí),、美術(shù)加工以及現(xiàn)場實(shí)時(shí)驅(qū)動等一系列技術(shù)流程,，實(shí)現(xiàn)全球首次將AI超寫實(shí)“數(shù)字航天員”應(yīng)用在4K科學(xué)紀(jì)錄片中。

想要實(shí)現(xiàn)數(shù)字人高質(zhì)量逼真的效果和自然流暢的互動,，溝通成本與時(shí)間成本高昂,，需要長期的配合。而在《飛向月球Ⅱ》的制作過程中,，萬生華態(tài)打通了超寫實(shí)數(shù)字人前中后期制作的全流程,，并通過自研面捕頭盔與AI算法，極大地提升了高保真人臉與面部微表情的捕捉與制作效率,，在短時(shí)間內(nèi)實(shí)現(xiàn)了對標(biāo)游戲CG級別的數(shù)字人制作,，真正做到全流程自主可控?！讹w向月球Ⅱ》制作僅花費(fèi)1個多月時(shí)間，實(shí)現(xiàn)了CG級別的數(shù)字人效果,，高質(zhì)量,、快速地應(yīng)用在國家級紀(jì)錄片中。

這一切的實(shí)現(xiàn)離不開萬生華態(tài)在“數(shù)字宇航員”制作中的4大數(shù)字人制作技術(shù)要點(diǎn)：
 

1. 自主研發(fā)動捕頭盔硬件Ecap：頭盔硬件對面部肌肉運(yùn)動進(jìn)行實(shí)時(shí)和高精度跟蹤與重建,，準(zhǔn)確還原出逼真細(xì)膩的面部表情,，實(shí)現(xiàn)影視級別的面部動作捕捉；
 

2. 自主研發(fā)的面部捕捉算法：深度學(xué)習(xí)驅(qū)動的實(shí)時(shí)人臉識別,、三維重建算法,，實(shí)時(shí)皺紋貼圖解算，全面捕捉各類面部表情動作,，瞳孔運(yùn)動,、皮膚運(yùn)動、皮膚反射捕捉,、細(xì)微皺紋...不放過任何一個細(xì)節(jié),；

3. 實(shí)時(shí)面部動作與表情渲染：基于PBR的實(shí)時(shí)光線追蹤渲染，針對人臉特殊優(yōu)化的著色器和渲染pipeline,，采用OCIO的色彩管理系統(tǒng),，充分保證色彩的真實(shí)性、準(zhǔn)確性,，應(yīng)用NVIDIA A6000,，實(shí)現(xiàn)實(shí)時(shí)4K HDR渲染；
 

單幀渲染

4. 應(yīng)用適合東方人的FACS系統(tǒng)：高度寫實(shí)、微表情豐富的混合變形（Blendshape）,，方便適配實(shí)時(shí)面捕算法的綁定邏輯,；
 

03、瑞云專訪

瑞云渲染：萬生華態(tài)團(tuán)隊(duì)是如何結(jié)緣《飛向月球Ⅱ》,？

彭程：因?yàn)楹陀ミ_(dá),、央視一起討論出關(guān)于數(shù)字人技術(shù)以及虛擬拍攝對于廣電產(chǎn)業(yè)的影響，航天產(chǎn)業(yè)硬科技配合著新的虛擬拍攝技術(shù)組合是一個很好的多維度技術(shù)宣傳,，就試著將公司各個技術(shù)部整合在這個項(xiàng)目里做一些嘗試和應(yīng)用,，希望利用數(shù)字技術(shù)做一個項(xiàng)目能代表未來的方向，這就是當(dāng)時(shí)我們的初衷,。

瑞云渲染：這個項(xiàng)目的制作花了多長時(shí)間,，可以簡單介紹一下團(tuán)隊(duì)制作《飛向月球Ⅱ》的pipeline嗎？

彭程：制作前期準(zhǔn)備花了一些時(shí)間,，整體拍攝到制作前后1個半月,，因?yàn)樯婕安煌膱鰟e使用不同的渲染方式，近景和遠(yuǎn)景渲染配置不一樣,，也需要滿足導(dǎo)演實(shí)時(shí)構(gòu)圖取景的實(shí)時(shí)預(yù)演虛擬拍攝需求,，同時(shí)要兼顧后期的4K HDR的標(biāo)準(zhǔn)。

所以pipeline都想好了1-2套備選方案,，實(shí)時(shí)動捕后,，也要能夠快速迭代人工修改的可能，也要跑通一些AI的算法,。所以AI和手工標(biāo)定以及藝術(shù)處理有交流和融合,，也是在項(xiàng)目中根據(jù)進(jìn)度去決策最終的pipeline，由于UE4版本也在迭代中,，所以要考慮軟硬件驅(qū)動的適配,，每一次迭代AI或者場景都會跑一次測試。

央視團(tuán)隊(duì)有節(jié)目組和制作組,，萬生華態(tài)有技術(shù)和藝術(shù)制作兩個部,，大家一起開發(fā)，測試,，跑通流程,，再優(yōu)化。團(tuán)隊(duì)合作中有未知的跨行情況,，在跑流程過程中互相了解定位,，掌握配合是關(guān)鍵。因?yàn)椤讹w向月球》的制作周期很緊,，審片流程嚴(yán)格,，所以流程的穩(wěn)定是團(tuán)隊(duì)協(xié)作的最高優(yōu)先級,。

瑞云渲染：《飛向月球Ⅱ》制作過程中需要與傳統(tǒng)的電視節(jié)目導(dǎo)演和后期剪輯人員合作，請問你們在合作中是如何確保高效地溝通與制作的,？

彭程：合作主要發(fā)生在項(xiàng)目預(yù)演,，導(dǎo)演，后期制作三個環(huán)節(jié),。在實(shí)際拍攝正片之前,，確認(rèn)方案的時(shí)候有較多互動，互動中請主持人參與模擬,，體驗(yàn)的過程很關(guān)鍵,，配合技術(shù)人員給電視臺人員的溝通和講解，讓他們大概了解到自己的流程和工作執(zhí)掌的定位,。在拍攝后,，根據(jù)藝術(shù)工程和技術(shù)要求的標(biāo)準(zhǔn)，確保穩(wěn)定優(yōu)先級,，不跨越流程提需求,，即可保證產(chǎn)出和有效溝通。

瑞云渲染：《飛向月球Ⅱ》創(chuàng)新性地采用了“超寫實(shí)數(shù)字人物”作為主持人,，堪稱全球首位 AI“數(shù)字航天員”,，團(tuán)隊(duì)采用了哪些核心技術(shù)來實(shí)現(xiàn)人物從表情細(xì)節(jié)到動作都如此栩栩如生的？

彭程：首先采集主持人面部的微表情,，并對多個姿態(tài)進(jìn)行掃描,，配合后期以及引擎的調(diào)參，以好的數(shù)據(jù)和處理為基礎(chǔ)為接下來的動畫制作打下最好的基礎(chǔ),。期間高速面捕攝像機(jī)的算法捕捉，實(shí)時(shí)對應(yīng)到綁定的轉(zhuǎn)化工程邏輯,，以及基于實(shí)時(shí)數(shù)據(jù)可微調(diào)的后期權(quán)限,，這個組合讓微表情可控，在正片呈現(xiàn)中更穩(wěn)定,。這次是我們第一個AI處理全流程的嘗試,，在后期的數(shù)字人中，我們會定向優(yōu)化很多細(xì)節(jié),。

瑞云渲染：和傳統(tǒng)制作相比,，制作《飛向月球Ⅱ》的太空場景涉及數(shù)據(jù)和資產(chǎn)量很大，團(tuán)隊(duì)是如何解決以構(gòu)建一個如此真實(shí)的太空場景的呢,？

彭程：本次項(xiàng)目使用了最新的英偉達(dá)A6000顯卡,，項(xiàng)目開拍的當(dāng)天才從美國消毒完寄送到手上，保證了最大RAM,，同時(shí)也做了LOD的優(yōu)化,，有一些貼圖不需要全套PBR使用,，減少一些總體內(nèi)存空間。

在虛擬拍攝的過程中,，不同于傳統(tǒng)的特效到制片再到創(chuàng)意設(shè)計(jì)師的流程,，從創(chuàng)意到導(dǎo)演再到后期一定是連在一起的。因此虛擬拍攝中的所有步驟都是可視化且可復(fù)制的,，它相當(dāng)于一個“數(shù)據(jù)”,，這種快速地拍攝跟數(shù)字營銷很匹配，導(dǎo)演的效率會變得非常高,。另外,，虛擬制片和傳統(tǒng)綠幕的區(qū)別在于，LED屏把數(shù)字資產(chǎn)以光照的形式打到人物身上,，減去了很多后期的流程,，同時(shí)導(dǎo)演可以實(shí)時(shí)看到畫面的效果，可以和后期在實(shí)時(shí)過程中就形成共識,。這樣很多創(chuàng)意的部分,，可以形成模塊化和區(qū)塊化，并且還能二次使用,，結(jié)合AI運(yùn)用在各種想象和場景中快速地多次部署,，這種靈活度在傳統(tǒng)視頻拍攝流程中是不具備的。這種技術(shù)可以幫助廣播電視行業(yè)快速制作達(dá)到影視級別的3D作品,，降低成本,、提升效率，并且方便二次創(chuàng)作大量的衍生作品,，如電影,、互動式小游戲，未來的VR/AR等等,，實(shí)現(xiàn)不同媒介之間的有機(jī)聯(lián)動,，更好的賦能廣播電視行業(yè)的創(chuàng)作能力，帶來新的商業(yè)模式,。

瑞云渲染：現(xiàn)在不論國內(nèi)國外,，數(shù)字人的研究和應(yīng)用都是非常熱門的話題，請問您認(rèn)為數(shù)字人的開發(fā)中最重要的技術(shù)難點(diǎn)在哪,？您認(rèn)為目前數(shù)字人IP的開發(fā)和應(yīng)用最成功的案例有哪些,？數(shù)字人IP的開發(fā)和應(yīng)用如何做到更真實(shí)，更容易與用戶產(chǎn)生情感連接,，讓觀眾更樂于接受,，更買賬？

彭程：數(shù)字人技術(shù)難點(diǎn)主要在面部表情的動畫捕捉,，目前市面上的解決方案不能很好的滿足需求,，所以我們自己研發(fā)了基于紅外和TOF的面捕頭盔,，加上自研的面部捕捉、跟蹤和校準(zhǔn)算法,、實(shí)時(shí)皺紋貼圖解算,、適配綁定邏輯的實(shí)時(shí)映射算法、符合東方人骨骼的FACS系統(tǒng)等等,，確保采集數(shù)據(jù)的處理結(jié)果和三維重建的準(zhǔn)確,。

目前比較成功的有時(shí)尚界的Lil Miquela和Imma，從人物的仿真度,、持續(xù)內(nèi)容更新的高頻率,、時(shí)尚IP聯(lián)名的火爆程度都證明了她們的成功。個人比較喜歡的是英雄聯(lián)盟的人物Seraphine,，因?yàn)樵谌宋锿瞥銮捌趯eraphine的日常生活和成長過程進(jìn)行了詳細(xì)的運(yùn)營,，很接地氣也很有血有肉，不是一個單純的游戲角色,，推出后也跟K/DA女團(tuán)有很完美的結(jié)合,，期待K/DA的發(fā)展。
 

很多商品的價(jià)值取決于共識,，共識又取決于基礎(chǔ)的柔性需求和潛意識的品牌價(jià)值需求,，因此很多公司在做品牌傳播的時(shí)候，會找明星代言,?？梢哉f，明星的本質(zhì)就像數(shù)字人一樣,，制片人,、經(jīng)紀(jì)人給他一套設(shè)備、一個方向,，然后他按照“劇本”去做表演形成“人設(shè)”,，只是呈現(xiàn)的載體不同。在5G到來時(shí),，線上線下綜合在一起的時(shí)候，所有公司都會打造一個虛擬的品牌形象,，它可能就是數(shù)字人,，因?yàn)閿?shù)字人更容易與用戶形成情感連接、有天然的親和力,。就像每個公司都會有自己的企業(yè)文化,，所以各種企業(yè)都會通過數(shù)字人的方式去打造自己的周邊產(chǎn)品，再通過有效運(yùn)營,，數(shù)字人會很快地融入到數(shù)字營銷市場,，其傳播屬性也具有非常高的跨界性和可編輯性,。為什么現(xiàn)在國內(nèi)大部分的數(shù)字人都沒有做出比較好的效果，或者并沒有形成很可觀的廣告收益,？看一下美國,、日本等地比較成功的案例，你會發(fā)現(xiàn)不管是明星還是動畫影視,，能支撐 IP成功的原因之一就是,，在數(shù)字營銷設(shè)計(jì)這個數(shù)字人的時(shí)候，它是完整的,、有血有肉的,，從性格到邏輯再到和品牌的互動是足夠真實(shí)可信的。而目前國內(nèi)缺失的是導(dǎo)演與策劃對數(shù)字人的塑造理解,，因此導(dǎo)致大眾對很多電影里的IP形象無法形成深刻的印象,。一個好的數(shù)字人IP需要鮮明的特征、完整的背景,，符合所代表企業(yè),、產(chǎn)品的形象設(shè)計(jì)與價(jià)值觀，和長期堅(jiān)持的運(yùn)營,，不會比捧紅一個明星簡單,。等技術(shù)帶來的新鮮感和紅利消失，最后比拼的依然是運(yùn)營能力,。

如果想了解
 

• PBRMAX AI數(shù)字資產(chǎn)標(biāo)準(zhǔn),，在廣電行業(yè)的應(yīng)用優(yōu)勢及案例；

• 超寫實(shí)AI數(shù)字人的制作與應(yīng)用流程,、制作周期與成本

• CCTV《飛向月球Ⅱ》技術(shù)解析

6.18下午3:00到5:00,，掃碼/點(diǎn)擊下方鏈接進(jìn)入瑞云渲染Bilibili直播間，帶你“飛向月球”,！

B站直播間：http://live.bilibili.com/21902293