參考先前文章完成安裝後,我們接著來安裝更多不同種類的模型,以擴充AI算圖的準確度與多元性。
各種模型與擴充功能的用途
筆者在這邊將針對Stable Diffusion所使用的Checkpoint、VAE、LoRA、擴充功能進行介紹,各種類的模型簡介如下
Stable Diffusion使用的模型
Checkpoint:Stable Diffusion運算使用的主要神經網路模型,可以想像為「大模型」。其檔案容量通常很大(約2GB以上),使用不同的Checkpoint將大幅影響產生圖像的風格。
VAE:Variational Autoencoder(變分自動編碼器),它是神經網路模型中的一部分,主要用途為補充模型不足之處,可以想像為「小模型、修正檔」。它能改善現有Checkpoint在產生眼睛、文字等小區域的細節品質,而不需使用容量龐大的全新模型。
小模型類:包含Textual Inversion(文字倒轉)、Hypernetwork(超網路)、LoRA(Low-Rank Adaptation,低秩調整)等模型,它們分別能以不同的方式介入算圖的運算過程,能夠有效影響圖像和提示詞的互動行為,可以想像為「小模型、描述檔」。它最的優勢是檔案容量小很多(約200MB以內),可以用於收束圖像的風格或指定角色。
擴充功能:也就是Stable Diffusion的外掛程式,可以提供更多功能,例如透過ControlNet可以指定產品圖像中人物的動作。
讀者可以參考下列圖片範例,瞭解搭配不同模型的效果差異。
安裝模型與VAE
若讀者跟著前述教學完成軟體安裝的話,應該會在啟動Stable Diffusion WebUI時自動下載基礎模型,但為了算出更多元的圖片建議讀者可以至下列網站尋寶,找出自己喜歡圖像風格的模型。
模型資源網站
Huggingface:https://huggingface.co/
CivitAI:https://civitai.com/(需註冊帳號才能進行年齡認證)
需要注意的是,支援的模型副檔名為.ckpt或.safetensors,前者具有整合程式碼的功能,而後者則無,所以為了安全考量並避免被植入惡意程式,建議盡量選擇.safetensors類型的模型。
下載的Checkpoint模型需要放置於「stable-diffusion-webui」資料夾下的「\models\Stable-diffusion」,至於VAE則放置於「\models\VAE」。另外讀者也可以準備解析度為450 x 675的PNG格式圖檔,並將檔案名稱修改與模型相同並放在同一資料夾,如此一來就能在選擇時看到預覽圖片。至於其他小模型類的安裝與使用方式,將於後續章節令行討論。
推薦模型
筆者將模型簡介與下載網址直接整理於下方圖片之說明。
在安裝完模型之後,下一篇教學就終於要開始算圖啦!大家把安全帶繫好,車速可能會有點快喔!
加入電腦王Facebook粉絲團