Stable Diffusion AI算圖使用手冊（5-3）：透過Reference Only控制畫風

Reference Only是整合於ControlNet內的新功能，只需輸入單一參考圖片，就可以控制生成圖像的風格，能夠簡化訓練LoRA等小模型的工作流程。 65640cf9d767858e9876e3430b25ee6e

Reference Only是整合於ControlNet內的新功能，只需輸入單一參考圖片，就可以控制生成圖像的風格，能夠簡化訓練LoRA等小模型的工作流程。

仿照參考圖片的風格

根據ControlNet於GitHub網站的更新資訊，Reference Only能夠直接與Stable Diffusion的專注層（Attention Layers）連結，並以任意圖片作為參考，發揮控制生成圖像風格的效果。

Reference Only最大的特色是它不需要仰賴任何AI模型，只需輸入單一參考圖片，就可以直接發揮作用，使用上相當簡便。

延伸閱讀：Stable Diffusion AI算圖使用手冊系列文章目錄

筆者先於下方列出Reference Only的效果展示，生成圖片的主題同樣為遊戲《女神異聞錄》中的武見妙醫生，但是搭配不同的參考圖片，就可以控制生成圖像中人物的風格。

▲ 首先我們借用生ごミカン所繪製的圖片作為參考，可以看到生成圖片的醫生與原圖同樣具有明顯的煙燻妝。

▲ 接著換一張背景風格明顯的參考圖片，生成圖片的背景也跟著有所變化。

▲ 再來換智慧型手機App《命運石之門時鐘》的圖片當作參考，生成圖片的腳色神情與整體色調也都受到影響。

▲ 來看看輸入《音速小子》作為參考會發生什麼事，結果效果不是很顯著。

▲ 如果輸入《哆啦A夢》的靜香呢？嗯嗯，有效！

▲ 最後試試《魔法氣泡》系列的菲莉，雖然跟上圖的風格有點接近，但仔細看還是能看出差異。

安裝與使用Reference Only

ControlNet於1.1.153版本更新中整合Reference Only，因此如果讀者是全新安裝ControlNet應該就會取得這個版本。若已經安裝ControlNet，則可至Stable Diffusion WebUI的Extensions頁面，在Installed標籤下點擊「Check for updates」檢查外掛功能的更新，並點擊「Apply and restart UI」安裝更新並重新啟動。

重新啟動Stable Diffusion WebUI之後，點擊ControlNet右方三角形將其設定項目展開然後點擊「Click to upload」，選擇想要輸入的參考圖片，接著依序點擊「Enable」方塊，然後在Preprocessor選擇reference_only。

接著設定Control Mode，其中的Balance代表平衡ControlNet與提示詞的權重，My prompt is more important代表提示詞更重要，ControlNet is more important則代表ControlNet更重要。之後即可照正常流成進行圖像生成。

需要注意的是，根據筆者的測試心得，Reference Only往往需要較高的權重，才能讓效果較為明顯，因此發現風格控制不如預期時，可以提高ControlNet中的Control Weight（最高上限為2），並在Control Mode中選擇ControlNet is more important，讓Reference Only能更進一步控制圖像風格。

▲ 如果需要更新ControlNet的話，可至Stable Diffusion WebUI的Extensions頁面，在Installed標籤下點擊「Check for updates」檢查外掛功能的更新，並點擊「Apply and restart UI」安裝更新並重新啟動。