文字描述外加入額外條件控制擴散模型！ControlNet AI模型將靈活度推向了高峰

從騎馬的太空人到3D人像，在不到一年的時間裡，AI 繪畫似乎已經取得了革命性的進展。 

這個「騎馬的太空人」由 OpenAI 2022 年 4 月推出的文生圖模型 DALL・E 2 繪製。它的前輩 ——DALL・E 在 2021 年向人們展示了直接用文字產生圖像的能力，打破了自然語言與視覺的次元壁。在此基礎上，DALL・2 更進一步，允許人們對原始圖像進行編輯，比如在畫面中添加一隻柯基。這一個看似簡單的操作其實體現了 AI 繪畫模型可控性的提升。 

不過，就影響力而言，2022 年最熱門的文生圖模型並不是 DALL・E 2，而是另一個和它功能相似的模型 ——Stable Diffusion。和 DALL・E 2 一樣，Stable Diffusion 也允許創作者對產生的圖像進行編輯，但優勢在於，這個模型是開源的，而且可以在消費級 GPU 上運行。因此，在 2022 年 8 月發表之後，Stable Diffusion 迅速走紅，短短幾個月就成了最紅的文生圖模型。

在此期間，人們也在進一步探索各種控制這類模型的方法，比如 Stable Diffusion 背後團隊之一的 Runway 公司發佈了一個圖像移除和替換（Erase and Replace）工具，該工具可以修改圖像任何部分。使用者需要做的就是移該區域並編寫自然語言描述，剩下的交給程式就可以了。 

谷歌和波士頓大學的研究者則提出了一種「個性化」的文字到圖像擴散模型 DreamBooth，使用者只需提供 3~5 個樣本 + 一句話，AI 就能定製照片級圖像。 

此外，來自 UC 柏克萊的研究團隊還提出了一種根據人類指令編輯圖像的新方法 InstructPix2Pix，這個模型結合了 GPT-3 和 Stable Diffusion。給定輸入圖像和告訴模型要做什麼的文字描述，模型就能遵循描述指令來編輯圖像。例如，要把畫中的向日葵換成玫瑰，你只需要直接對模型說「把向日葵換成玫瑰」。  

進入 2023 年，一個名為 ControlNet 的模型將這類控制的靈活度推向了高峰。 

ControlNet 的核心思想是在文字描述之外加入一些額外條件來控制擴散模型（如 Stable Diffusion），進而更好地控制產生圖像的人物姿態、深度、畫面結構等資訊。 

這裡的額外條件以圖像的形式來輸入，模型可以基於這張輸入圖像進行 Canny 邊緣檢測、深度檢測、語義分割、霍夫變換直線檢測、整體嵌套邊緣檢測（HED）、人體姿態辨識等，然後在產生的圖像中保留這些資訊。利用這一模型，我們可以直接把線稿或塗鴉轉換成全彩圖，產生具有同樣深度結構的圖等等，透過手部關鍵點還能最佳人物手部的產生。 

這一模型在 AI 繪畫領域掀起了巨浪，相關項目 GitHub star 量已破萬。 

▲ 專案連結：https://github.com/lllyasviel/ControlNet

雖然當前很多人只是用它來產生二次元、三次元人物，但其更廣泛的用途也被逐漸挖掘出來，比如房屋設計、攝影攝像、影視製作、廣告設計等。在這些場景中，ControlNet 被拿來和之前的一些工具一起使用，像是處理大模型微調問題的 LoRA、影片 - 動畫轉換工具 EbSynth 等。這些工具的組合應用加速了 AI 繪畫模型與生產過程的融合。

▲ 圖片利用 ControlNet 和 EbSynth 等工具重新進行室內裝潢設計。圖片來源

▲ 圖片利用 ControlNet 和 Houdini 工具生成 3D 模型。圖片來源。

▲ 圖片用 Dreambooth 和 ControlNet 改變 2D 圖像光照，可用於照片、影片的後期製作。圖片來源

▲ 圖片用 ControlNet 和 EbSynth 實現動畫轉真人。雖然效果還不太好，但已經顯示出了把動漫改編成真人版但無需演員出鏡的潛力。圖片來源。

▲ 圖片某設計師利用 ControlNet 生成的著名品牌「新 logo」。圖片來源。

驚喜之餘，這些技術的進展也讓繪畫等領域的從業者陷入焦慮和憤怒。焦慮的是，AI 可能會奪走自己的飯碗。憤怒的是，AI 產生的圖像很多是對當前畫師的抄襲和模仿，畫師的智慧財產權受到了侵犯。 

在這些問題尚未解決的情況下，AI 繪畫在畫師圈成了一個尖銳的問題。很多人認為大家應該一起抵制 AI 繪畫，共同捍衛自己的權益。因此，當有知名畫師疑似採用 AI 繪畫為遊戲工作室供稿的消息傳開後，其他畫師們被徹底激怒。  

同時被激怒的還有遊戲玩家。由於目前 AI 繪畫還存在一些侷限，比如處理不好手部細節，達不到玩家所要求的美術視覺效果精湛、人物富有個性和創意等要求，很多玩家產生了「被唬弄」的感覺。因此，遊戲工作室還要緊急發表聲明，稱「不會在產品中使用 AI 作畫」。 

但這種情況會持續多久呢？當 AI 繪畫的水準達到肉眼難以分辨的程度，你怎麼知道你玩的遊戲究竟出自畫師還是 AI，亦或二者組成的「團隊」？ 

▲ 圖片來源

或許再過幾個月，AI 繪畫工具就會像程式設計師使用的 Copilot 一樣，成為繪畫師日常工作必不可少的工具。當然，這也在無形中提高了這一行業的門檻，正如已經被 AI「入侵」的其他行業一樣。如何在這樣的浪潮中保持自己的競爭力可能是每個人都應該思考的問題。

我是一名畫師，AI繪畫模型正在搶走我的工作，我該怎麼做才能避免被AI繪畫模型取代？

作為一名畫師，你可以考慮以下幾個方面來避免被AI繪畫模型取代：

1. 創造獨特的風格和視覺語言：AI繪畫模型只能在程式和演算法允許的範圍內操作，而且通常會在大量資料集上進行訓練，因此很難像人類一樣表達出獨特的風格和視覺語言。你可以通過深入瞭解自己的風格，發展出獨特的視覺語言，進而區別於AI繪畫模型。
2. 深入瞭解繪畫技巧和藝術理論：AI繪畫模型只是一種工具，它們無法像人類一樣深入理解繪畫技巧和藝術理論，因此它們很難創造出像人類藝術家那樣的複雜、表現力強的作品。你可以透過深入瞭解繪畫技巧和藝術理論來提高自己的繪畫能力，並在創作中運用這些技巧和理論。
3. 推廣和行銷：即使你是一名出色的畫師，如果沒有良好的行銷策略，你的作品可能會被AI繪畫模型所取代。因此，你需要積極地推廣和行銷自己的作品，建立良好的個人品牌，吸引更多的粉絲和客戶。
4. 接受新技術的挑戰：AI技術是不可逆轉的趨勢，因此你需要接受新技術的挑戰，積極地探索AI與繪畫的結合，探索出新的藝術創作方式，以保持自己的競爭力。

總之，作為一名畫師，你需要不斷地提高自己的繪畫技能和藝術素養，創造出獨特的視覺語言，積極地推廣和行銷自己的作品，並接受新技術的挑戰，以保持自己的競爭力。