AR也能救人一命，Google將AR與AI導入癌症檢驗

結合深度學習與AR影像

深度學習是人工智慧的一環，目前技術已經能在眼科、皮膚科、放射科等學科發揮協助病理檢查的功效，Google發表的研發成果也顯示，使用卷積神經網絡檢測淋巴結的乳腺癌轉移的準確度，已經與受過訓練的病理學家相當。

然而由於目前病理檢查大多還是仰賴顯微鏡與目視判斷，這反倒成為推廣利用深度學習進行病理檢查的主要障礙。

然而在經過1年的研發後，Google在美國癌症研究組織（American Association for Cancer Research，AACR）的年度會議上，發表了《以AR顯微鏡即時自動偵測癌症》（An Augmented Reality Microscope for Real-time Automated Detection of Cancer）的論文，說明如何透過AR與AI找出癌細胞。這項研究最主要的目的，不是為了推翻目視判斷的「金科玉律」，而在於使用數位影像與人工智慧演算法，來提升診斷的準確度。

▲ Google在《以AR顯微鏡即時自動偵測癌症》論文中提出透過AR與AI強化癌症檢測的方式。（圖片來源：An Augmented Reality Microscope for Real-time Automated Detection of Cancer，下同）

▲ AI可以自動尋找癌細胞，並在畫面中標出範圍。

改裝簡易，有助於壓低成本

研發團隊並非從頭設計新的顯微鏡，而是將現有器材加以修改，加入影像擷取與AI分析功能，如此一來電腦就可以在經過類神經網路訓練後，以接近即時的速度執行AI演算法，並在低延遲的狀態下，以AR方式將癌細胞範圍標示在顯微鏡的影像中。

這種將電腦系統整合至現有器材的方式，不但能省下許多添購新器材的成本，還能將無視差、高解析度的影像輸入至電腦。當電腦接收到影像訊號後，就能透過演算法即時產生高準確度的檢查結果。而且根據參與測試的病理學家回報，這套系統能夠在無縫轉換的體驗下，即刻提供有用的檢測資訊。

▲ 這套系統會擷取顯微鏡視角的影像，並在處理後以AR方式送回顯微鏡的觀景窗。

▲ 系統擷取影像後，就會透過AI演算法判斷癌細胞。（圖片來源：Google，下同）

▲ 從影像輸入到運算完成並輸出僅需不0.1秒的時間。

▲ 系統能即時標示癌細胞的範圍，協助病理學家進行判斷。

研發團隊相信，AR顯微鏡有潛力能夠影響全球醫療體系，尤其協助開發中國家的醫療系統檢測結核與瘧疾，更能彰顯AR顯微鏡的功效。另一方面，除了醫療用途外，也有許多其他會使用到顯微鏡的產業，例如材料科學相關產業也能導入AR顯微鏡協助改善工作效率，這種發掘AR顯微鏡應用的工作，也是研發團隊現階段的重要工作之一。