|
一、Stable Diffusion 全模型解析一覽表 在完成對(duì) Stable Diffusion 的 WebUI 界面的系統(tǒng)學(xué)習(xí)后,，不同類(lèi)型模型的研究就成了第二個(gè)需要探究的重點(diǎn)內(nèi)容了,。因此最近花了很多的時(shí)間和精力，查閱了大量與模型相關(guān)的學(xué)習(xí)資料,，并進(jìn)行了完整和細(xì)致的梳理及總結(jié)，看看我的成果。
昨天花了一個(gè)晚上的時(shí)間,，終于做完了這個(gè)表。
二,、內(nèi)容總結(jié)：Stable Diffusion 模型總體分為大模型和小模型兩個(gè)大類(lèi),。 1、大模型往往有數(shù)十億的參數(shù)經(jīng)過(guò)巨量的數(shù)據(jù)訓(xùn)練,，代表大的圖片畫(huà)風(fēng),，通常體積較大，在2-7G之間,；分為官方基礎(chǔ)模型 和其他經(jīng)過(guò)調(diào)整后的大模型,，比如寫(xiě)實(shí)型的模型: ChilloutMix、Deliberate,；動(dòng)漫風(fēng)格模型：Pony DiffusionV6 XL,、Anything V5等。 2,、小模型則是在大模型的基礎(chǔ)上進(jìn)行進(jìn)一步精修,，使之體現(xiàn)出各種細(xì)節(jié)不同的豐富多彩的風(fēng)格分支。 目前最常用的是lora模型,，我們重點(diǎn)來(lái)了解一下lora模型有哪些優(yōu)點(diǎn)： 1）高效微調(diào)：傳統(tǒng)的模型微調(diào)需要更新大量參數(shù),，計(jì)算成本高且耗時(shí)。而 LoRA 只需要訓(xùn)練少量的低秩矩陣來(lái)適應(yīng)新任務(wù),，大大減少了可訓(xùn)練參數(shù)的數(shù)量,，降低了計(jì)算資源的需求，提高了微調(diào)效率,。 2）低存儲(chǔ)成本：由于只需要存儲(chǔ)和更新少量的低秩矩陣,，而不是整個(gè)模型的參數(shù)，因此 LoRA 模型在存儲(chǔ)方面具有很大優(yōu)勢(shì),，尤其在處理大規(guī)模語(yǔ)言模型時(shí),，可以顯著減少存儲(chǔ)開(kāi)銷(xiāo)。 3）可擴(kuò)展性：LoRA 可以很容易地應(yīng)用于不同規(guī)模和結(jié)構(gòu)的預(yù)訓(xùn)練模型,，具有良好的可擴(kuò)展性,。無(wú)論是小型模型還是像 GPT-3 這樣的大型語(yǔ)言模型，都可以使用 LoRA 進(jìn)行有效的微調(diào),。 4）性能保持：在很多情況下,，使用 LoRA 微調(diào)后的模型能夠在新任務(wù)上取得與傳統(tǒng)微調(diào)方法相當(dāng)甚至更好的性能,，同時(shí)還能保持對(duì)原任務(wù)的性能，即具有較好的任務(wù)適應(yīng)性和泛化能力,。 5）與其他技術(shù)兼容性好：LoRA 可以配合其他模型優(yōu)化技術(shù),，如量化、剪枝等結(jié)合使用,，進(jìn)一步提高模型的效率和性能,，為模型的部署和應(yīng)用提供更多的靈活性。 因此lora模型使用極廣,，數(shù)量眾多,，極具特色：
插畫(huà)風(fēng)格的lora模型/電商設(shè)計(jì)特色的lora模型：
寫(xiě)實(shí)攝影l(fā)ora模型
二次元lora模型
手繪風(fēng)lora模型 有 玩偶手辦lora模型
等等創(chuàng)意無(wú)限的各種lora模型，以上模型大家都可以直接到LibliAI -哩布哩布AI官 網(wǎng) https://www. 免費(fèi)下載學(xué)習(xí),，并且可以在網(wǎng)站自己進(jìn)行l(wèi)ora模型訓(xùn)練,。 可以說(shuō)，LoRA 模型通過(guò)低秩分解實(shí)現(xiàn)高效微調(diào),，具有高效,、低耗、可插拔等特點(diǎn),，廣泛應(yīng)用于多領(lǐng)域且發(fā)展?jié)摿Υ蟆?/span> 3,、小模型里，VAE模型 Variational autoencoder變分自編碼器,，也是非常重要的一個(gè)模型,。負(fù)責(zé)將潛空間的數(shù)據(jù)轉(zhuǎn)換為正常圖像?？梢?span style="color: rgb(237, 65, 253);">簡(jiǎn)單理解為濾鏡,,一般大模型本身里面就自帶 VAE，但是一些融合模型的VAE損壞了(畫(huà)面發(fā)灰/顏色怪異)需要額外使用VAE文件來(lái)修復(fù),。我個(gè)人在使用過(guò)程中,，也發(fā)現(xiàn)使用VAE模型后，整個(gè)畫(huà)面顏色會(huì)變得鮮亮很多,。 4,、小模型中，還有Hypernetwork模型,，,、LyCORIS模型 、(特殊)Embedding(Textual inversion)模型,，這三種類(lèi)型中LyCORIS模型和lora模型類(lèi)似,，其他兩種不是主流模型，不再詳述,。具體了解可以查閱本文最上面的《Stable Diffusion 全模型解析一覽表》,。 另外,，SD在生圖的過(guò)程中還有一個(gè)非常重要的模型：ControlNet模型， 它不屬于Stable Diffusion模型 ,， 是 OpenAI 提出的一種用于控制預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法,，通過(guò)添加額外的控制信號(hào)來(lái)引導(dǎo)模型的生成過(guò)程，從而實(shí)現(xiàn)對(duì)生成結(jié)果的更精細(xì)控制,。它可以與多種基礎(chǔ)模型結(jié)合,，如在圖像生成領(lǐng)域與 Stable Diffusion 等模型結(jié)合，能夠讓模型在生成圖像時(shí)更好地遵循用戶(hù)給定的條件,，如姿態(tài),、布局、邊緣等信息,，使得生成的圖像更符合特定需求和預(yù)期,，在圖像生成、視頻生成等多個(gè)領(lǐng)域都有重要應(yīng)用和價(jià)值,。 因此,，我們將秋葉整合包解壓安裝好以后，需要將安裝包里的controlet 文件直接復(fù)制到文件夾：Stable Diffusion \modles\controlnet,，就可以了,。 總之，SD 模型體系豐富多元,，基礎(chǔ)模型奠定生圖能力,，LoRA 精調(diào)風(fēng)格細(xì)節(jié)，ControlNet 把控生成結(jié)構(gòu),，它們共同構(gòu)建起創(chuàng)意無(wú)限的 AI 繪畫(huà)世界,，持續(xù)推動(dòng)數(shù)字藝術(shù)創(chuàng)作邁向新高度！ 【小白的AI繪畫(huà)學(xué)習(xí)日?！?關(guān)于Stable Diffusion模型知識(shí)的整理,，就到此結(jié)束了。我感覺(jué)已經(jīng)耗盡了我的洪荒之力了,。SD模型告一段落啦,。8
【參考資料】 松澤Stable Diffusion知識(shí)庫(kù) SD模型類(lèi)目名詞釋義； 秋葉的魔導(dǎo)緒論,；互聯(lián)網(wǎng) 我見(jiàn)過(guò)你最深情的面孔和最柔軟的笑意,，在炎涼的世態(tài)之中燈火一樣給予我茍且的能力，邊走邊愛(ài),。 |
|
|
