來自世界衛生組織（WHO）的資料顯示，如今全球範圍內有超過四千萬的截肢患者。雖然隨著科技的發展，義肢技術雖然在一定程度上改善了上肢被截肢者的生活品質，但在義肢控制方面仍然存在許多不足，如動作延遲高、需依靠不便攜帶的附加設備等。
近日，來自明尼蘇達大學的研究團隊及其合作者，共同開發出了一種基於深度學習的便攜式獨立神經義肢。
研究人員透過驗證 NVIDIA Jetson Nano 等邊緣運算平台在神經假體應用中部署深度學習的可行性，研發了一個便攜式的、獨立的義肢系統。
實驗結果表明，在各種實驗室和真實環境中，該系統能夠提供強大的、高精度（95-99%）和低延遲（50-120 ms）的手指運動控制能力。
臨床試驗證明，該系統在不同的手臂、身體姿勢，以及在不同的實驗室和真實環境中都可以連續穩定運行幾個小時。
研究人員表示，該義肢系統是第一個在便攜式臨床神經假體應用平台上實現深度學習神經解碼器的系統，同時多項創新系統設計也為未來的義肢研究提供了極高的參考價值。
AI 助力下一代神經假體
近年來，深度學習在分析和解碼生物醫學資料方面的應用一直在穩步發展。在快速發展的神經假體領域，基於深度學習的神經解碼器已經成為推動下一代靈巧和直觀的神經假體研究的主要工具，這種基於深度學習的 AI 系統可以幫助使用者利用靈巧的義肢系統進行全方位運動。
在此次研究中，研究團隊透過比較基於 CNN 和遞歸神經網路的深度學習解碼器與經典機器學習技術的性能發現，深度學習方法使用從截肢者獲得的外周神經資料後，在解碼靈巧手指運動的所有性能指標上優於其他技術。
儘管這些研究顯示了有應用前景的結果，但在便攜式設備上進行深度學習以用於長期臨床應用仍然具有挑戰性。
深度學習的效率是以計算複雜性為代價的。眾所周知，在大多數低功耗平台上的傳統中央處理器上運行深度學習模型時，效率非常低。在實踐中，絕大多數深度學習模型必須使用圖形處理單元（GPU）來訓練和部署。
邊緣運算設備的最新進展，為解決這一問題提供了新的可能。早期的邊緣運算設備側重於通用應用，但最近，用於深度學習的緊湊硬體的開發有所增加。但是不幸的是，目前的軟體支援僅限於高度定製的神經網路，這阻礙了人們基於 RNN 的神經解碼器實現的全部潛力。
另一類用於深度學習的邊緣運算設備包括帶有整合 GPU 的獨立電腦。最著名的例子是 NVIDIA Jetson Family，它包括具有 CPU、GPU、RAM、快閃記憶體等，專為在自主應用程序中部署人工智慧而設計。
同時它允許直接使用最流行的深度學習庫，如 TensorFlow、PyTorch 和 Caffe。這為研究團隊的神經解碼器實現提供了尺寸、功率和性能之間最合適的折衷。這也為本研究提供了可靠的硬體支撐。
基於AI的軟體和硬體系統
透過基於 NVIDIA Jetson Nano 系列的硬體平台，研究人員成功創建了便攜式神經義肢系統。
如圖 A，該系統的組成部分包括 Scorpius 神經連接埠、帶有定製載板的 Jetson Nano、定製的義肢控製器和可充電鋰離子電池；而便攜式神經義肢則作為一個獨立的便攜式單元，整個系統可以整合到內部，取代假體現有的肌電圖傳感器和電子設備，從而對義肢的重量和美觀影響最小。
神經資料透過 Scorpius 神經連接埠（圖 A）獲得，Scorpius 系統的小型化外形使其可以部署在各種可穿戴和可植入的應用中。設備由承載板透過隔離的 USB 鏈路供電，所獲得的資料直接傳輸到 Jetson Nano 進行進一步處理。
為了能使 Jetson Nano 更好的發揮作用，研究團隊為它專門設計了一個定製的載板（C 圖），為 Nano 模塊提供電源管理和輸入與輸出連接。
經過全面訓練的深度學習模型被用來將神經訊號即時轉換成受試者個人手指運動的真實意圖。最終的預測被發送到手控製器來驅動義肢。義肢擁有五個獨立驅動的手指，搭配研究團隊定製的控製器（B 圖），實現對手指的控制。
在軟體方面，該系統採用 Python 實現它的硬體功能，由資料採集、資料預處理和電機解碼三個獨立的線程組成。
資料的主要處理是在 Jetson Nano 中實現的。首先，來自截肢者手臂的外圍神經訊號形式的資料被發送到平台，然後進行預處理；同時，預處理也是至關重要的，這一步是將原始神經資料輸入到試驗中，並提取他們的主要特徵。
預處理資料與主要特徵相對應，清除所有噪聲源後被發送到深度學習模型中，以具有控制每個手指運動的最終輸出，因此，五根手指可以分別對應不同的輸出從而產生不同的動作。
不可思議的臨床應用
在之後的臨床應用中，研究團隊選擇了一個失去手 14 年的截肢者進行。所有的資料採集和處理都是由 Jetson Nano 即時完成的，沒有與任何遠端電腦進行有線或無線通訊。
截肢者用他靈巧的義肢向外界觀察者展示他移動手指進行比較的意圖。結果表明，機械手準確地模擬了操作者的運動意圖。
截肢者還測試了假手在各種姿勢下的魯棒性，因為伸直手臂可能會產生相當大的肌電圖噪聲。受試者報告系統響應性略有變化，但沒有明顯的電機解碼精度下降。
最終結果表明，該系統幾乎可以像正常人的手一樣移動它的機器人手指。
在這個測試中的截肢者表示：我覺得使用這個義肢，更像是一種生活功能，不用考慮義肢在什麼位置或者義肢在什麼模式就能完成日常任務。就好像我想拿起某樣東西，就伸手去拿一樣東西。我知道它就像我的手一樣，可以完成日常的功能，我想我可以做到。
雖然這項研究實現了諸多的功能，但是該義肢系統在實現方式上仍有改進的空間。同時，Jetson Nano 的 GPU 是基於 NVIDIA 的 Maxwell（2014）架構，這可能不如最近的 GPU 架構如 Turing（2018）和安培（2020）那樣高效。一旦軟體支援變得更加強大，Jetson Nano 也有可能與Intel神經計算棒和Google Coral 等 usb 連接設備相結合，以擴展深度學習推理能力。
這項研究實現了多個方面的創新，第一點創新在於束內微電極陣列的開發；第二點創新在於設計了 Neuronix 神經連接埠微晶片；第三點創新在於深度學習運動解碼範式的優化；第四點創新在於基於最先進的邊緣運算平台的軟體和硬體的實現。
研究人員表示，預計這項工作將成為未來開發基於 AI 的便攜式生物醫學設備方面的墊腳石，並為更多的被截肢者帶來生活上的便利。
參考資料：
- A Portable, Self-Contained Neuroprosthetic Hand with Deep Learning-Based Finger Control
- From Amputee to Cyborg with this AI-Powered Hand!
- Jules Anh Tuan Nguyen, Ph.D. Homepage