|
作者 | 貝爽 AI換臉又一次刷爆了朋友圈 最近云畢業(yè)正當(dāng)時(shí)，各家科技公司順勢(shì)推出了自己的AI換臉技術(shù),，結(jié)果又被同學(xué)們玩壞了,！ 換臉這件事絕不能少了業(yè)界大佬們！ 不得不說(shuō)，好看是不分性別的,，彥宏兄氣質(zhì)滿(mǎn)分！ 仔細(xì)來(lái)看,，AI換臉技術(shù)近些年還是成熟不少,，整體的面部貼合度、細(xì)節(jié)處理都有了明顯的提升,。近日,，Deepfake領(lǐng)域再一次取得了重要突破。據(jù)了解,，迪士尼公司公布了一項(xiàng)最新研究成果,，聲稱(chēng)其人臉交換技術(shù)可達(dá)到業(yè)內(nèi)最高水平。 從效果圖來(lái)看,，果然一點(diǎn)挑不出毛?。?/span> 據(jù)了解,，迪士尼研究室與蘇黎世聯(lián)邦理工學(xué)院合作基于GAN提出了一種新型算法,，它可以自動(dòng)實(shí)現(xiàn)圖像/視頻中的人臉交換，同時(shí)保證數(shù)百萬(wàn)級(jí)的高分辨率,。 更值得關(guān)注的是,，目前這項(xiàng)研究成果已初步計(jì)劃用于好萊塢大片制作，據(jù)說(shuō)因?yàn)樗梢愿纳齐娪百|(zhì)量和后期制作成本,。 1 走進(jìn)好萊塢大片的Deepfake 人臉交換在電影行業(yè)并不罕見(jiàn),。在一些好萊塢大片經(jīng)常會(huì)用到替身演員完成一些專(zhuān)業(yè)的、高難度動(dòng)作,。為了保證電影效果,，后期制作會(huì)花費(fèi)大量成本。然而常見(jiàn)的計(jì)算機(jī)圖形合成技術(shù),，效果常常差強(qiáng)人意,，甚至?xí)轮嘏摹?/span> 這在時(shí)間和金錢(qián)方面都是非常大的成本消耗，因此,，迪士尼公司特此聯(lián)合蘇黎世聯(lián)邦理工學(xué)院開(kāi)展了此項(xiàng)合作研究,。 近日，迪士尼公司對(duì)完宣稱(chēng),，他們研究了一款新型人臉交換技術(shù),，可用于電影或電視劇制作。他們聲稱(chēng)該技術(shù)可在人臉交換過(guò)程中產(chǎn)生高分辨率,，逼真的圖像/視頻,，非常適合大屏幕播放,。 局部融合更考驗(yàn)換臉的技術(shù)難度。為了驗(yàn)證算法性能,，研究人員他們沒(méi)有對(duì)人臉的眼部,、唇部等局部器官進(jìn)行了融合，效果也是非常驚人,。 基于圖一,，圖二、三分別進(jìn)行了唇部和眼部的局部人臉融合,，可以看出局部融合度非常高,，高清、自然,，看不出一點(diǎn)破綻,。同時(shí)它能夠隨著唇部抖動(dòng)實(shí)時(shí)貼合，毫無(wú)跳脫感,。而且研究人員證實(shí),，視頻中的人臉交換一般比靜態(tài)圖像效果更好。 局部人臉交換在動(dòng)態(tài)視頻中的融合優(yōu)勢(shì),，這在電影場(chǎng)景中是非常必要的,。 更值得關(guān)注的是它可以產(chǎn)生百萬(wàn)級(jí)像素的分辨率。不過(guò),，研究人員表示他們采用了一種漸進(jìn)式的方法（Progressive Training）對(duì)源視頻/圖像進(jìn)行預(yù)訓(xùn)練,，算法可從中提取較高分辨率圖像。下圖可明顯看到經(jīng)訓(xùn)練的人臉像素遠(yuǎn)高于未經(jīng)訓(xùn)練的結(jié)果,。 研究人員介紹,，基于高清分辨率和局部融合技術(shù)的新型算法最大限度地?cái)U(kuò)展了人臉交換在電影中的應(yīng)用。除了替身演員的全臉交換外,，如需要刻畫(huà)一位年齡逐漸增長(zhǎng)的任務(wù)或已經(jīng)進(jìn)入垂暮之年的老人，可以根據(jù)需要為角色添加細(xì)微皺紋,、發(fā)型和體態(tài),。 另外，它可以與其他作品完成表演上的替換,，當(dāng)然這里可以對(duì)原視頻的背景和光照進(jìn)行特殊處理,，以使他可以融入電影場(chǎng)景中。這也是區(qū)別于傳統(tǒng)后期制作的一種新方法,。 2 基于梳狀模型的最新算法 那么這項(xiàng)AI換臉技術(shù)是如何實(shí)現(xiàn)的呢,？我們先來(lái)看一組完整的換臉路徑圖：
步驟1和2：對(duì)源圖像進(jìn)行面部識(shí)別、特征提取,，以及標(biāo)準(zhǔn)化剪裁（1024x1024）; 步驟3：將圖像輸入通用編碼器進(jìn)行模型訓(xùn)練,； 步驟4：將解碼后輸出的圖像與需要匹配的目標(biāo)進(jìn)行多頻帶混合,，最終得到人臉交換后的效果圖。 其中通用編碼器的訓(xùn)練模型是一個(gè)關(guān)鍵,，這里研究人員采用的是一種漸進(jìn)式梳狀網(wǎng)絡(luò)結(jié)構(gòu)（Comb Model）面部交換主要是通過(guò)域轉(zhuǎn)移的方法來(lái)實(shí)現(xiàn),。我們使用通用編碼器將經(jīng)預(yù)處理的圖像嵌入共享的潛在空間中，然后使用與之對(duì)應(yīng)的解碼器將這些嵌入映射回像素空間中,。通常域轉(zhuǎn)移主要在這兩個(gè)空間中進(jìn)行切換,，但在本文中，研究人員擴(kuò)展了一種新的思路,。 如我們圖中看到的,，經(jīng)編碼器處理的圖像，被解碼器分支到P個(gè)域中,，研究人員將這種架構(gòu)成為梳狀模型,。這里各個(gè)編碼器就相當(dāng)于梳狀結(jié)構(gòu)的“齒子”。 在這里,，單個(gè)梳狀模型可以處理多個(gè)源目標(biāo)的人臉融合,，而且與雙向模型相比，它可以有效減少訓(xùn)練的時(shí)間,，同時(shí)明顯提高圖像的保真度,。 如前文所說(shuō)，模型訓(xùn)練采用的是一種漸進(jìn)式的方式,。該過(guò)程通過(guò)對(duì)高分辨率圖像進(jìn)行下采樣,，得到低分辨率圖像，然后在訓(xùn)練中再逐步輸入高分辨率,，逐漸擴(kuò)展網(wǎng)絡(luò)的容量,，最終得帶高保真圖像。 不過(guò),，這里要注意的是,，最終輸出的圖像分辨率會(huì)受到原始數(shù)據(jù)集圖像分辨率的限制。如果數(shù)據(jù)集缺乏高分辨率,，可以采用超分辨率的方式對(duì)圖像進(jìn)行預(yù)處理,，不過(guò)最好采用特定于面部的SR訓(xùn)練方法。 除此之外,，研究人員介紹,，梳狀模型和多頻帶的混合策略，還有助于保持融合背景的光線(xiàn)和對(duì)比度,。 3 對(duì)比分析,，優(yōu)勢(shì)明顯 研究人員將漸進(jìn)式梳狀模型與目前三種開(kāi)源的人臉技術(shù)，分別為Deepfake,、DeepFaceLab和Nirkin et aI進(jìn)行了對(duì)比研究,。其中,，Nirkin et aI采用三維可變模型，不需要預(yù)訓(xùn)練,。后兩者采用Y形自動(dòng)編碼器結(jié)構(gòu)的實(shí)現(xiàn),。
本次試驗(yàn)對(duì)五組人臉進(jìn)行了對(duì)比。前兩列分別源圖像和目標(biāo)圖像,，需要進(jìn)行AI融合,，從之后的圖像可以看，本次研究模型在細(xì)節(jié)融合,、圖像分辨率以及陰影處理上,，要高于其他算法模型。 而且,，它采用的多頻帶混合在消除偽影方面要明顯優(yōu)于泊松混合,。DeepFakes和DeepFaceLab都的使用是泊松混合（Poisson）。 不過(guò),，研究也存在明顯的局限性,，比如顯示無(wú)法對(duì)戴眼鏡的人進(jìn)行穩(wěn)定的人臉交換，不是因?yàn)檠坨R部分無(wú)法渲染,，而是無(wú)法將臉部與周?chē)鷪D像混合,。研究人員曾嘗試調(diào)整輸入源與之相匹配，但結(jié)果時(shí)好時(shí)壞,。,、 不過(guò)，研究人員也解釋在實(shí)際應(yīng)用或電影場(chǎng)景中,，可能影響不大,。 引用來(lái)源：
|
|
|
來(lái)自： weinfb > 《影視行業(yè)》
