|
像是討論度最高的AI替代人類,，還是以后詐騙更加難防的評論,，無不在提醒屏幕前的人們：潘多拉的魔盒已經(jīng)打開了，Sora的出現(xiàn)就象征著AI視頻的時代已經(jīng)到來,。 當(dāng)然Sora不是本篇話題,，畢竟我已經(jīng)寫過一篇文章了不能再水一篇。除了Sora,、Runway Gen2這種AI工具以外,，我之前還提到過一個工具-AnimateDiff。 AnimateDiff其實已經(jīng)出現(xiàn)過一段時間了,，并且直至今日還在不斷地迭代升級中,，AnimateDiff就是我們今天的主角。 AnimateDiff AnimateDiff是一個由香港中文大學(xué),、斯坦福大學(xué)和上海人工智能實驗室的研究人員們共同開發(fā)出來的“文本到動畫”擴散模型 ? https://github.com/guoyww/AnimateDiff 其實在之前的筆記中都有提到過制作“AI動畫”的基礎(chǔ)思路,，像是Mov2Mov、TemporalKit,、EbSynth這類工具的本質(zhì)都是將連貫的視頻拆分成一個個幀,，然后將這些幀數(shù)進行重繪最后拼合在一起變成一個“動畫”。 （Stable Diffusion進階篇:AI動畫-Mov2Move） AI界的“抖音濾鏡”（Stable Diffusion進階篇-TemporalKit視頻風(fēng)格轉(zhuǎn)化） 讓AI也能偷個懶（Stable Diffusion進階篇：AI動畫-EbSynth插件） 在看過上述三篇筆記的同學(xué)們肯定還記得,，當(dāng)初的AI動畫本質(zhì)上是將一個視頻進行重繪,。不過這種逐幀轉(zhuǎn)繪的動態(tài)內(nèi)容生成方式其實是有缺陷的,，像是畫面閃爍嚴(yán)重、耗時較長等,。 AnimateDiff是有著針對性的效果,，讓AI學(xué)習(xí)不同類別視頻“運動”的方式從而訓(xùn)練出了一個運動模塊Motion Module。AI就可以把一系列運動的幀一次性畫出來,，所生成的內(nèi)容就會更加流暢自然,。 還有一點，這個模塊獨立于基礎(chǔ)模型,，所以AnimateDiff可以附加到任意一個大模型上,，只要你庫存有的CheckPoint都可以用來做視頻。 其實在最早的時候AnimateDiff只能在原生代碼進行使用,，但是后來有許多大佬們開發(fā)出了不同的載體例如ComfyUI的功能節(jié)點和工作流以及WebUI上的擴展插件,。 WebUI:https://github.com/continue-revolution/sd-webui-animatediff ComfyUI:https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved 不過這篇文章將會用WebUI來作為學(xué)習(xí)平臺，畢竟WebUI更多人熟悉一些,。 目前來說WebUI中的AnimateDiff能做的基本功能有文生視頻,、圖生視頻、視頻轉(zhuǎn)繪這三大類,。 當(dāng)然這個AnimateDiff也是有門檻的,，以16幀512*512為例子開啟優(yōu)化效果的話的話大約需要最低顯存5GB，如果能有8GB的話更好,，12GB則是能滿足所有要求,。 N卡用戶的話開啟xFormers后能顯著優(yōu)化顯存占用，當(dāng)然后面也會講對于設(shè)備難以滿足最高要求的小伙伴們可以調(diào)節(jié)什么參數(shù)進行優(yōu)化,。 AnimateDiff的安裝與基本操作 在安裝AnimateDiff前需要先安裝好兩個擴展,，一個是ControlNet，這個我們之前的文章中就有安裝過,，沒有的小伙伴可以看這篇文章進行下載安裝： 擺出一樣的姿勢還不簡單?。浚ˋI-Stable Diffusion篇-10：ControlNet） 另一個東西叫做Deforum,，需要這個東西是因為AnimateDiff的擴展開發(fā)者寫了一個調(diào)用這個東西來“插幀”的功能,。 https://github.com/deforum-art/sd-webui-deforum 與此同時AnimateDiff的運作需要一系列運動模塊和功能性Lora，最核心的運動模塊至少需要下載一個,，這里可以去Huggingface地址下載： https:///guoyww/animatediff/tree/main 我選擇下載的是目前我寫這篇文章的時候最新的v3_sd15mm.ckpt這個文件,，在下載完成之后放在擴展文件夾中的Models里方面后續(xù)使用。 WebUI根目錄\extensions\sd-webui-animatediff\model 在完成上述步驟之后重啟一下WebUI,，因為接下來還需要在設(shè)置中進行一些優(yōu)化改動： 在WebUI設(shè)置-左下方找到AnimateDiff（未分類里）-確保紅框中的選項是勾選上的,。 WebUI設(shè)置-優(yōu)化設(shè)置-勾選上補齊提示詞到相同長度 記得保存設(shè)置,！ AnimateDiff基本操作 在完成了上述的準(zhǔn)備工作之后就可以嘗試一下簡單的操作了，進入到WebUI的文生圖界面后可以看到拉到最下方有一個AnimateDiff選項,。 接下來先不急著動畫,，先用文生圖隨意繪制一個喜歡的二次元圖片出來： 簡單調(diào)節(jié)一下參數(shù)后要注意正負提示詞最好都不要超過75個字，不然的話可能一會做動畫會導(dǎo)致前后不一致,。 在得到了想要的圖片后可以先保存下來,，之后的圖生動畫可以用得上。不過要注意的是現(xiàn)在文生圖的這張圖片僅做參考,，沒法保證一會動畫出來的和這個一模一樣,。 接下來就打開AnimateDiff選擇啟用，如果模型列表里面沒有東西的話記得點擊右側(cè)的刷新按鈕刷新一下列表,。 如果生成一個2秒的視頻,，那么總幀數(shù)改為16幀、并且把保存格式里面的PNG取消勾選,，這樣一來后續(xù)可以快速預(yù)覽效果（與上圖一致即可） 這個不勾選PNG是怕后面每一幀生成都會保存一份,，既占空間還磨蹭。 在以上參數(shù)都完成設(shè)置之后點擊生成,，等待一小會之后會在右側(cè)看到這樣的畫面,。 這里因為設(shè)置總幀數(shù)是16幀，所以SD會繪制16張圖片,，然后將其拼合在一起,，一共消耗的時間就是差不多設(shè)備繪制16張圖片的時間。 然后就可以得到這樣的畫面啦,！ 是不是超極簡單,！ 今天的課程就到這里結(jié)束啦~ 主要是AnimateDiff這個東西我記得很早之前我就想學(xué)習(xí)，是Sora的出現(xiàn)讓我重新回憶起這個東西,，加上我學(xué)習(xí)的那個Up最新的視頻也是講AnimateDiff的,，索性就回歸一下本心學(xué)習(xí)一下。 畢竟之前的催婚我爸媽還問這姑娘有沒有視頻啥的呢,。 其他的進階參數(shù)和更多的東西就放到下一篇筆記中去講啦,，大伙下篇筆記見，拜了個拜,！ 我要去做飯了,，好餓。
文章部分參考素材來源： 原視頻教程： https://www.bilibili.com/video/BV1zS421A7PG/?spm_id_from=333.999.0.0&vd_source=f18a24315a35799d8d1912ad50652d90 Github 官方AnimateDiff鏈接： https://github.com/guoyww/AnimateDiff?tab=readme-ov-file AnimateDiff論文鏈接： https:///abs/2307.04725 https://animatediff./ Github Deforum插件： https://github.com/continue-revolution/sd-webui-animatediff Hugging face官方運動模塊下載： https:///guoyww/animatediff/tree/main ,。 |
|
|
來自： 風(fēng)聲之家 > 《ps》
