AI可以在一張A4的影印紙上放電影，紙張彎曲時還可以即時改變圖片的視角和光照
隨意彎曲、任意抖動，絲毫不影響在紙上看《龍貓》。這不是什麼黑科技的新螢幕技術，而是AI合成的影像。
AI可以在紙上放電影
那麼這是怎麼做到的呢？簡單來說，就是透過預測光流來替換影片中的圖片。
以梵谷的名畫《星空》為例。
第一步，將這幅畫列印在A4紙上，然後錄製影片。在不同角度、光照、抖動情況下捕捉紙張，並從中提取影格。
第二步，也是最為關鍵的一步。
用LIFE單獨預測《星空》在影片畫面中的流動，然後將其替換成其他的圖片or影片。
這裡的LIFE，是研究人員提出的弱監督框架，該框架只需要將整個圖像的相機姿勢變換作為弱監督。
用這一框架來訓練神經網路，來預估圖像對之間的不變光流。
透過運動結構（Structure-from-Motion，SfM）技術，可以很容易地估計出視角變化大、光照變化大的圖像對之間的相機姿勢。
稀疏對應關係通常是通過特徵匹配和指定圖像來建立的。
然鵝，在跨圖像特徵匹配時候，指定圖像會出現一些差錯，阻礙了下游任務的進行。
下面這兩個樣本，就有種去夜店跳舞的感覺~
而用LIFE來指導特徵匹配，利用圖像對中豐富的上下文訊息來解決模糊匹配的問題。
就如圓圈中特徵點，正是LIFE預測下找到與原圖像最匹配的點。
最終，LIFE在各種場景下，都分優於目前最先進的光流估計方法。
來看看下真正的效果~
比如，隨意彎曲。
以及在不同視角的變換。
即便是在黑暗的場景下，也能清晰的看到圖像。
加入電腦王Facebook粉絲團