這個(gè)文章其實(shí)寫的有點(diǎn)晚了,，畢竟2個(gè)工具都已經(jīng)出現(xiàn)了很久。不過鑒于大部分人其實(shí)接觸AI生圖都兩眼一黑的,，還是寫寫吧,。在SD webui出現(xiàn)的時(shí)候我就已經(jīng)半推半就的開始裝了：為什么說半推半就呢？一個(gè)是因?yàn)槲覀€(gè)人是個(gè)很懶的人,，當(dāng)時(shí)的webui安裝步驟看到開頭就開始頭大了,，全是編程的東西（盡管很簡單）；另一個(gè)是被人催促著要“接觸新東西”,，自己就有點(diǎn)躍躍欲試,。事實(shí)證明，安裝webui真的要了我命：從安裝到可以跑起來,，滿打滿算花了小半個(gè)月時(shí)間,，各種報(bào)錯(cuò)各種百度各種從一個(gè)什么都不懂的人硬啃的把這東西靠我破破爛爛的能力給裝起來了。好在,，不久之后AI生圖的生態(tài)就好起來了,，Comfyui也成功的超越了webui變成大家最愛的工具之一。而被譽(yù)為“AI界最快的男人”——張呂敏,，敏神,，也改造了webui，生成了一個(gè)新的項(xiàng)目：Stable Diffusion Forge（以下簡稱Forge）,。這就是本文我要說的2個(gè)工具Comfyui和Forge,。不用git，對,，全文git含量極低,。官方直接就提供了一鍵安裝包,！又是github又是python的，不需要,！官方甚至提供了直鏈下載（我直接翻譯了,，以防有人看不懂）Comfyui官方回復(fù)非N卡的啟動(dòng)方式其次就是大家關(guān)心的問題：沒有N卡能不能玩？官方給出了解答,，AMD卡可以玩！所以整個(gè)流程就是：下載-解壓-點(diǎn)“run_cpu”,、“run_nvidia_gpu”就行,。如果不是N卡那就按上圖所示的跑。敏神同樣提供了一鍵安裝包,，流程和Comfyui一樣,，下載解壓，但解壓后要先運(yùn)行一下update.bat,，等待提示結(jié)束后,，關(guān)閉窗口，再雙擊run.bat,，同樣也不需要任何的環(huán)境依賴,，一鍵安裝包全部搞定。至于非N卡能不能玩,，我不清楚,，有興趣的可以自己試試。當(dāng)然那也有一些國內(nèi)大神出的秋葉包諸如此類的,，我個(gè)人更喜歡本地安裝,，感覺使用起來舒服一些。很多新聞都一直說大模型大模型的,，也有不少人會(huì)有些混亂：到底GPT的大模型，和畫圖的大模型有什么不同,？我的理解是在本質(zhì)上沒有大的區(qū)別（可能理解有誤）,，只是GPT的預(yù)訓(xùn)練數(shù)據(jù)以文本為主，而生圖的大模型則以文本,、圖像雙結(jié)合,。所以這就注定了兩者使用的大模型是完全不一樣的。最開始推出生圖大模型（簡稱為底模）的則是StabilityAI公司,，他們發(fā)布了一系列的模型,，從1.5開始編號(hào)，2.0閉源（目前已經(jīng)無法在官方渠道下載）,，目前已經(jīng)到了3.5,。而耳熟能詳?shù)腇lux出自于德國的黑森林實(shí)驗(yàn)室,，官方也有網(wǎng)站，huggingface上搜索同樣可以下載,。基礎(chǔ)大模型：SD1.5,、SD2.0（已被閉源）、SDXL,、SD3.0,、SD3.5。下載地址：https:///stabilityai ——這是官方的地址,，當(dāng)然網(wǎng)上也有很多網(wǎng)盤分享什么的,，注意甄別獲取，以免被騙,。1,、embedding：用來增強(qiáng)詞義的效果，分正面和負(fù)面,，效果等同于常見的Lora,。2、Lora：簡單理解就是針對大模型的輕量微調(diào)的“小”模型,，比較常用,，AIGC的一個(gè)分支——所謂“煉丹”，就是指訓(xùn)練Lora,，分為風(fēng)格,、人/物。這個(gè)下載地址就非常多了,，內(nèi)外網(wǎng)都有,，國內(nèi)這塊比較出色的平臺(tái)是哩布哩布。3,、vae：通常用來做大模型的補(bǔ)充集,，簡單理解就是能讓畫面的色彩明暗更豐富一些。要注意的是,，以上的3類“小”模型,，都是針對大模型訓(xùn)練的，也就是說,，它們是互相配套的,，因此，如果使用SDXL,，那么下載的embedding,、Lora、vae,，都需要關(guān)注后綴的問題,，搭配錯(cuò)了使用,，不會(huì)生成很好的效果（當(dāng)然如果某些Lora訓(xùn)練集非常好，泛用性很強(qiáng),，是可以交叉使用的）,。以Forge為例（因?yàn)樗慕缑娓m合小白），目前更新到的版本已經(jīng)貼心分好類了：sd=低于XL的版本（1.5,、3等等）,；xl是SDXL專用的，flux也是專用的,，點(diǎn)擊之后底下的參數(shù)基本上都已經(jīng)給默認(rèn)設(shè)置了,，不需要小白再操心怎么設(shè)置的問題。掛載Lora的話,，F(xiàn)orge是需要在末尾增加<lora:名稱：強(qiáng)度>的,，Comfyui是使用單獨(dú)面板控制,。掛載Lora的Comfyui工作流,，可見單獨(dú)設(shè)置的面板以上面的2個(gè)圖為例,，簡單講一些參數(shù)的不同,。Forge的采樣迭代步數(shù)=Comfyui的步數(shù)，提示詞相關(guān)性=CFG,，采樣器兩者命名一致,，Comfyui獨(dú)有的運(yùn)行后操作提供了固定、增加,、減少,、隨機(jī)4個(gè)選項(xiàng)，以我了解這四個(gè)選項(xiàng)的意思分別是在隨機(jī)種輸出后固定,、增加1位,、減少1位和隨機(jī)增加1位的意思。通常Comfyui的圖片尺寸可以搭配不同的節(jié)點(diǎn)進(jìn)行,，上圖的空latent的可以設(shè)置寬高尺寸,，而Forge通過進(jìn)度條拉取實(shí)現(xiàn)，但Forge只提供到2048*2048的尺寸,，Comfyui可以設(shè)置更大（取決于你的電腦GPU能不能跑得動(dòng)）,。Comfyui的Clip文本編碼器對應(yīng)Forge的正、負(fù)面提示詞,，但Clip文本編碼器又由于第三方插件的原因,，有些集成了正負(fù)面提示詞，內(nèi)置的是不做區(qū)分的（如上圖）,。現(xiàn)在,，你已經(jīng)了解了基礎(chǔ)的知識(shí),，只需要將文本貼進(jìn)去，然后點(diǎn)擊就能生圖了,。如果說想將固定的圖改變風(fēng)格,、參考人物姿勢，那就需要用到ControlNet（簡稱CN）,。這個(gè)非常了不起的插件,，也是敏神做的（我沒記錯(cuò)的話）。它支持的樣式如上圖,，但通常用的比較多的就是canny,、lineart、openpose,、softedge幾個(gè)功能,。除了openpose以外，其他的幾個(gè)可以廣泛用于各種提取線稿的場景,。下圖就是我用一個(gè)非常簡單的工作流提取到的線稿,，基本上每張圖的細(xì)節(jié)都能翻轉(zhuǎn)成線稿了。openpose通常用于人的姿勢識(shí)別,，可以利用姿勢來生成不同風(fēng)格的圖,。（上：輸出的結(jié)果,；下：捕捉的人體骨骼姿勢和面部表情）可以看到,，盡管是SD1.5的模型，但是手還是沒有畫崩的（可能是因?yàn)樽藙輿]有很暴露手指）,。而我只是輸入了非常簡單的提示詞：1 man sitting.CN的模型也是需要單獨(dú)下的,，遵循的規(guī)則和生圖的底模一樣，名稱是配套的,，如上圖,，我的openpose是sd1.5的，那么搭配的底模也必須是sd1.5,且后綴是openpose,。以上文的名稱拆解：CN模型--底模+適用場景,，所以sd1.5_openpose表示這是一個(gè)使用sd1.5底模、且用于openpose控制的CN模型,。至此,，你已經(jīng)完全掌握了進(jìn)階的用法。至于高清放大之類的,，也遵循必須下載單獨(dú)模型的原則,，它適用的場景主要是想要生成超過工具極限的大圖或者顯存實(shí)在撐不住，就使用先生成小圖,，再使用高清放大將圖片高清化,。當(dāng)然Forge還有很好的功能：layerdiffuse可以用于生成透明底的圖片,，我曾經(jīng)用來做圖標(biāo)、內(nèi)置SVD,，只需要下載SVD大模型就可以本地跑視頻且比較絲滑,。（但新版本都已經(jīng)移除，可以下載舊版本使用）,。怎么升級(jí),？只需要在根目錄調(diào)出cmd然后輸入git pull，就能升級(jí),。當(dāng)然之前我也到官方頁面詢問了各位大神怎么升級(jí),，最后也得到了答案，不懂的可以嘗試去官方頁面問一問,。最后,，祝大家玩得快樂！近期摸索在老一點(diǎn)的Mac上跑本地生圖工具,。
題圖：AI
|
