Google透過人工智慧教電腦如何分辨透明物體

透明物體常被辨識成雜訊

目前電腦視覺常使用RGB-D相機（可以記錄景深資訊的相機，如Kinect）、光達（Lidar）等光學距離感應器建立準確的3D環境模型，然而使用光學方式偵測的缺點，就是很容易受到玻璃容器等透明物體干擾。

其中主要的原因，在於這類感應器在運作過成中，會假設所有的物體表面均為完全漫反射（Lambertian Reflectance，指表面能將光線均勻反射至所有方向，從而在所有視角下產生均勻的表面亮度），然而透明物體的表面除了有反射光之外，還會有折射光，所以違背了這個假設，造成無法辨識或是被辨識為雜訊等情況。

根據ClearGrasp的論文（PDF）指出，ClearGrasp可以在深度學習的協助下，使用深度卷積網絡判斷物體表面的法線，以及透明物體的表面遮罩、遮擋邊界（Occlusion Boundary，即景深的不連續性），以精確推算單張RGB-D圖像中的景深資訊。

▲ 使用Intel RealSense D415景深攝影機拍攝透明物體的效果並不理想。（圖片來源：Google，下同）

▲ 以傳統方式建立的3D模型中，許多透明物體無法正常偵測並顯示出來。

▲ ClearGrasp（右下）能大幅提升辨識透明物體的準確度。

使用模擬圖像訓練

ClearGrasp運作過程總計使用3個神經網路，第1個是用於標記物體表面的法線，第2個則用於標記遮擋邊界，最後的則用於標記透明物體，以利後續透過遮罩過慮屬於透明物體的所有像素，並在最後補上正確的景深數據。

由於目前沒有現成的透明物體圖片與景深資料庫，因此在訓練過程中，開發團隊使用3D繪圖的方式產生了超過50,000張的RGB-D模擬圖像，這樣一來不但可以快速建立資料庫，還能夠使用逼真的CG圖像搭配準確的景深資料訓練系統，並依需要改變背景和照明條件，增加訓練資料庫的豐富性。

為了驗證訓練成果，研發團隊準備了286組真實照片，每組由2張照片構成，其中1張包含透明物品，而另1張則將透明物品替換為外型一模一樣的非透明物品，藉以分析2種情況下的辨識情況是否相同。

值得注意的是，雖然這種訓練能準確辨識真實照片中的透明物體，但對於其他表面（如牆壁或一般物品）的表面辨識確不太理想，因此開發團隊還補充使用Matterport3D與ScanNet資料庫訓練系統一般物品，以強化整體表現。

在驗證實驗部分，開發團對使用UR5機械手臂測試抓取透明物體，使用平行爪抓取物體的成功率可以從12％提升到74％，如果使用吸盤吸取物體的話，成功率則從64％提高升到86％，證明ClearGrasp的準確度相當理想。

▲ ClearGrasp總共使用3個神經網路分析輸入的影像。

▲ 研發團隊使用大量電腦繪圖的模擬圖像訓練深度學習系統。

▲ 並使用包含透明、非透明對照物品的真實照片驗證。

▲ 此外研發團隊還使用Matterport3D與ScanNet資料庫訓練系統辨識一般物品，強化整體準確度。

▲ClearGrasp的成果展示。影片最後可以看到ClearGrasp（右上）的辨識情況與真實條件（左上）相當接近。

ClearGrasp目前已經以開源型式釋出，有興趣的讀者可以參考專案網頁或GitHub取得更多資訊。