本文使用工具，作者:秋葉aaaki

免責聲明:
工具免費提供 無任何盈利目的

大家好,，我是風雨無阻。

今天為大家?guī)淼氖?AI 繪畫Stable Diffusion 研究（三）sd模型種類介紹及安裝使用詳解,。

目前,，AI 繪畫Stable Diffusion的各種模型層出不窮，這些模型都有什么作用,？又該怎么安裝使用,？對于新手朋友來說，是非常大的困擾。

這篇文章將會為你介紹AI 繪畫Stable Diffusion的模型種類,、模型的安裝及使用方法,、以及模型的選擇和下載。

不同的模型有不同的畫風如：線條風格,、手繪風格,、立體風格、科幻風格,、真人風格,。

還有不同的概念，例如：人物,、物體,、動作等。

這些都是目前Stable Diffusion 模型眾多的原因,。

那么,，Stable Diffusion的模型具體有哪些種類呢，都有什么作用呢,？

一,、Stable Diffusion的模型詳解

1、模型種類

當前,，常見的模型可以分為兩大類：

• 大模型：這里的大模型特指標準的 latent-diffusion 模型,，擁有完整的 TextEncoder、U-Net,、VAE,。

• 微調(diào)大模型的小模型

  
  

由于想要煉制、微調(diào)大模型非常的困難,，需要比較好的顯卡,、比較高的算力， 因此更多的選擇是去煉制小型模型,。

這些小型模型通過作用在大模型的不同部分,，來修改大模型，從而達到目的,。

常見的用于微調(diào)大模型的小模型又分為以下幾種：

• Textual inversion (Embedding模型)
• Hypernetwork模型
• LoRA模型

還有一種叫做 VAE （VAE, Variational autoencoder,，變分自編碼器，負責將潛空間的數(shù)據(jù)轉(zhuǎn)換為正常圖像）的模型,，通常來講 VAE 可以看做是類似濾鏡一樣的東西,，會影響出圖的畫面的色彩和某些極其微小的細節(jié)。

如圖：

其實大模型本身就自帶 VAE 的,，但是一些融合模型的 VAE壞了 （例如：Anything-v3）,，有時畫面發(fā)灰就是因為這個原因,。所以需要外置 VAE 的覆蓋來補救。

由于模型的種類不同,、作用位置也不同,，所以想要使用這些模型必須分清這些模型類別，并且正確的使用,，模型才會生效,。

2、模型的區(qū)分方法

如何區(qū)分這些模型對新手來說是一件非常困難的事情,，因為他們都可以擁有一樣的后綴名,。

這里感謝 秋葉aaaki 提供的模型種類檢測工具 ，在本地將模型文件拖入即可識別,。

3,、模型后綴名詳解

目前，常見的 AI繪畫標準模型后綴名有如下幾種：

• ckpt

• pt

• pth

  這三種是 pytorch（深度學習框架）的標準模型格式,，由于使用了 Pickle,，會有一定的安全風險 。

• safetensors：新型的模型格式 ,。正如同名字：safe,，為了解決前面幾種模型的安全風險而出現(xiàn)的，safetensors 格式與 pytorch 的模型可以通過工具進行任意轉(zhuǎn)換,，只是保存數(shù)據(jù)的方式不同,，內(nèi)容數(shù)據(jù)沒有任何區(qū)別。

  
  

注意：safetensors模型需要 webui 更新到2022年12月底以后的版本才能用,。

4,、常見模型安裝及使用方法

（1）、大模型安裝及使用

大模型,，常見格式為 ckpt,，顧名思義，就是大,。大小在GB級別,，常見有 2G、4G,、7G模型,，模型大小不代表模型質(zhì)量。

安裝方法：放在Stable-diffusion文件夾內(nèi),。

\sd-webui-aki-v4.2\models\Stable-diffusion

如圖：

使用方法：

第一步,，在 webui 左上角選擇對應的模型

第二步，手動選擇vae并應用保存

前面也說到,，部分合并出來的大模型VAE爛了，畫面會發(fā)灰，因此需要去設置中手動選擇vae并應用保存,。

（2）,、Embedding (Textual inversion)模型安裝及使用

embedding 模型，常見格式為 pt,、png圖片,、webp圖片，大小一般在 KB 級別,。

例如：

安裝方法：

放在 embeddings 這個文件夾里面

\sd-webui-aki-v4.2\embeddings

使用方法：

生成圖片的時候需要帶上文件名作為 tag,。

例如，上面這張圖里面的 shiratama_at_2-3000.pt 這個模型,，使用的時候就需要帶上這個tag：shiratama_at_2-3000

(3),、Hypernetwork安裝及使用

常見格式為 pt，大小一般在幾十兆到幾百兆不等,，由于這種模型可以自定義的參數(shù)非常多,，也有的 Hypernetwork 模型可以達到 GB 級別。

例如：

安裝方法：放在hypernetworks 文件夾內(nèi),。

\sd-webui-aki-v4.2\models\hypernetworks

使用方法：

第一步,，點擊生成下方的第三個按鈕

第二步，選擇hypernetworks 標簽頁

如圖所示

（4）,、LoRA模型安裝及使用

常見格式為 pt,、ckpt，大小一般在8mb~144mb不等,。

安裝方法：模型需要放在 Lora 文件夾,。

\sd-webui-aki-v4.2\models\Lora

使用方法：

第一步，點擊生成下方的第三個按鈕

第二步,，選擇Lora 標簽頁

如圖：

第三步,，點擊一個模型以后會向提示詞列表添加類似這么一個tag， 也可以直接用這個tag調(diào)用lora模型,。

<lora:模型名:權重> 

（5）,、VAE 模型安裝及使用

常見格式為 .pt ，如圖：

安裝方法：模型需要放在 VAE 文件夾,。

\sd-webui-aki-v4.2\models\VAE

模型放置完畢后,，在設置頁面進行如下設置，并重啟,。

如果沒有sd_vae 選項,，則需要補充上。

添加在 sd_model_checkpoint 之后,，語法如下：

,sd_vae

好,，由于篇幅原因,，模型的安裝和使用就介紹到這里。

大家都知道,，要用Stable Diffusion畫出漂亮的圖片,，首先得選好模型。

目前,，模型數(shù)量最多的兩個網(wǎng)站是civitai 和huggingface,。

civitai又稱c站，有非常多精彩紛呈的模型,，有了這些模型,，我們分分鐘就可以變成繪畫大師，用AI畫出各種我們想要的效果,。

我們這里就以 civitai 站下載模型進行安裝為例,，進行詳細說明。

二,、模型的下載及選擇方法

1,、直接搜索想要的模型

最上面是搜索框，我們可以直接通過關鍵詞來搜索想要的模型,。

2,、按照菜單分類選擇模型

點擊左上角菜單，可以看到這里是按照 以下幾項來分類的：

• 最高評價HIGHEST RATED
• 最多下載MOST DOWNLOADED
• 點贊最多MOST LIKED
• 討論最多MOST DISCuSSED
• 最新上傳NEWEST,。

3,、按照時間排序來選模型

點擊右上角，可以按照時間排序來選模型：最近一周,、最近一月,、所有時間的。

4,、按照模型類型,、Stable Diffusion版本選擇模型

Stable Diffusion目前有SD 1.4、SD 1.5,、SD 2.0,、SD 2.0 768、SD 2.1,、SD 2.1768,、SD 2.1 Unclip 等版本。

注意:

• 通常來說版本越高,，效果越好,。

• 目前比較流行的還是1.5版本，1.5之前的版本沒啥限制,，可以自由出各種圖片,。

• 2.0以上版本提供了一個 圖像無損放大模型：Upscaler Diffusion ,，可以將生成圖像的分辨率提高 4 倍，適合出高清大圖,。2.0加入了一些限制,，不能出一些不可描述的圖片。

  
  

所以,，具體使用哪個版本，還是要根據(jù)自己的需求來選擇,。

挑到喜歡的模型后,，怎么安裝模型呢？

三,、模型的下載安裝實操

接下來我們來說明一下安裝實操步驟,。

1、下載模型文件,，在c站 搜搜到喜歡的模型,，并下載

2、下載成功后,，我們會獲得模型文件

3,、將模型文件使用模型種類檢測工具 獲取模型的種類

如圖：

將模型文件拖入該工具后，會獲得以下信息：

文件名
dunhuangV3.safetensors

文件大小
144.11 MB

模型種類
LoRA 模型

模型用法
放入 models/Lora 文件夾后,，在 webui 中,，“生成” 按鈕的下方選擇 ?? 按鈕，找到 Lora 選項卡點擊使用,。

Info
{
ss_batch_size_per_device:'6'
ss_bucket_info:{}
ss_bucket_no_upscale:'True'
ss_cache_latents:'True'
ss_caption_dropout_every_n_epochs:'0'
ss_caption_dropout_rate:'0.0'
ss_caption_tag_dropout_rate:'0.0'
ss_clip_skip:'None'
ss_color_aug:'False'
ss_dataset_dirs:{}
ss_enable_bucket:'True'
ss_epoch:'10'
ss_face_crop_aug_range:'None'
ss_flip_aug:'False'
ss_full_fp16:'False'
ss_gradient_accumulation_steps:'1'
ss_gradient_checkpointing:'False'
ss_keep_tokens:'0'
ss_learning_rate:'0.0001'
ss_lowram:'False'
ss_lr_scheduler:'cosine_with_restarts'
ss_lr_warmup_steps:'0'
ss_max_bucket_reso:'1024'
ss_max_grad_norm:'1.0'
ss_max_token_length:'None'
ss_max_train_steps:'6750'
ss_min_bucket_reso:'256'
ss_min_snr_gamma:'None'
ss_mixed_precision:'fp16'
ss_network_alpha:'64.0'
ss_network_dim:'128'
ss_network_module:'networks.lora'
ss_new_sd_model_hash:'e4a30e4607faeb06b5d590b2ed8e092690c631da0b2becb6224d4bb5327104b7'
ss_noise_offset:'None'
ss_num_batches_per_epoch:'675'
ss_num_epochs:'10'
ss_num_reg_images:'0'
ss_num_train_images:'4050'
ss_optimizer:'bitsandbytes.optim.adamw.AdamW8bit'
ss_output_name:'dunhuang_20230625021029'
ss_prior_loss_weight:'1.0'
ss_random_crop:'False'
ss_reg_dataset_dirs:'{}'
ss_resolution:'(512, 768)'
ss_sd_model_hash:'1d5a534e'
ss_sd_model_name:'majicmix_realv6_fp16.safetensors'
ss_sd_scripts_commit_hash:'(unknown)'
ss_seed:'2361018997'
ss_session_id:'801586992'
ss_shuffle_caption:'False'
ss_tag_frequency:{}
ss_text_encoder_lr:'1e-05'
ss_total_batch_size:'6'
ss_training_comment:'None'
ss_training_finished_at:'1687645290.3126323'
ss_training_started_at:'1687630234.599286'
ss_unet_lr:'0.0001'
ss_v2:'False'
sshs_legacy_hash:'14dab82f'
sshs_model_hash:'f747a8b2ab9a85d407f26183afb59d53fc023c2fbde928fe8512721fda5a11aa'
}

根據(jù)工具輸出信息可知,， dunhuangV3.safetensors 模型的模型種類是LoRA 模型。

4 ,、將模型dunhuangV3.safetensors 放入 models/Lora 文件夾,。

5、在 webui 中,，“生成” 按鈕的下方選擇 ?? 按鈕,，找到 Lora 選項卡點擊使用。

好,，今天的內(nèi)容就到此結束,，我們來總結一下。

今天主要給大家分享了 Stable Diffusion的模型種類說明,，以及常見模型的下載,、安裝、使用方法,， 沒理解到的朋友,，請收藏起來多看幾遍,。

關注我，后續(xù)繼續(xù)分享sd更多干貨 ,， 敬請期待,。