照片也變臉，NVIDIA FastPhotoStyle演算法將氛圍轉移到另一張照片

想必各位讀者多少都有注意到，先前有開發者利用AI與圖像處理技術，將成人影片中女主角的臉與明星交換，達到「變臉」的效果。這次NVIDIA釋出的FastPhotoStyle演算法，則是能夠分析來源照片的風格，並風格套用至目標照片，能讓目標照片保有原本的景色並染上不同風格，創造出更加精彩的照片。

照片風格也能轉移

照片風格轉移演算法的用意，在於將來源照片的風格與目標照片的景色融合為一，讓合成產生的新照片能保有原本的景色，並套上不同風格，

雖然目前已經有許多現成的演算法能夠達到這個功能，但是它們的效果並不一定很理想，有時還會造成圖像錯誤的情況發生。而且這些演算法往往相當吃重運算資源，1張解析度為640 x 480的照片可能就需花費好幾分鐘來處理。

加州大學默塞德分校（University of California, Merced）與NVIDIA的研究團隊為了改善這些問題，一起研發了創新的FastPhotoStyle演算法。

FastPhotoStyle會將處理程序拆分為風格轉化（Stylization）與平滑化（Smoothing）等2步驟，在風格轉化階段，程式會分析來源照片的風格，並套用至目標照片上。接下來的平滑化階段，程式則會強化圖片空間中的一致性，發揮降低破綻的效果。

▲ 本圖左欄為來源照片，中欄為目標照片，右欄則為套入風格的結果照片。（圖片來源：FastPhotoStyle GitHub，下同）

▲ 再更多範例中可以看到合成效果相當自然。

▲ 圖中A、B欄為來源、目標照片，C、D欄為其他演算法，E為FastPhotoStyle演算法成果。（圖片來源：A Closed-form Solution to Photorealistic Image Stylization，下同）

FastPhotoStyle演算法會在風格轉化階段輸入來源、目標等2張照片，然後對其進行Photo WCT轉換（Whitening and Coloring Transform），如此一來便能得到中繼照片。這時候中繼照片已經具有來源的風格，但是會因為合成影像的關係，讓畫面產生鬼影與失真。

接下來的平滑化階段，需要讓輸出的照片看起來更自然，為了達到這個需求，演算法會輸入目標、中繼照片，並比對圖中鄰近的區域，將相近的像素套入相同的風格，讓畫面更為滑順，接下來則是避免平滑化讓結果偏離PhotoWCT，以為持整體風格。

▲ FastPhotoStyle會將程序拆為風格轉化、平滑化等階段進行。

▲ 圖中A、B欄為來源、目標照片，C、D欄為使用一般WCT與針對圖像最加化的Photo WCT轉換後中繼照片，E、F欄則為平滑化後的成果。

與現有演算法最大的不同是，FastPhotoStyle並不需經過迭代運算的過程，每個步驟是獨立進行的，能夠讓處理速度提升60倍，並能在研究中以人眼分辨的測試中，獲得2倍優於目前演算法的評價。

NVIDIA將FastPhotoStyle演算法以開源方式釋出，有興趣嘗試的讀者可以至GitHub下載程式，或是閱讀A Closed-form Solution to Photorealistic Image Stylization白皮書。