Quantcast
Viewing all articles
Browse latest Browse all 6443

GTC 24:NVIDIA發表GR00T計劃與Jetson Thor單板電腦,推動人型機器人發展

NVIDIA在GTC 2024春季場推出人型機器人通用基礎模型Project GR00T,並發表對應的Jetson Thor單板電腦,進一步推動機器人技術和體現AI技術突破。Image may be NSFW.
Clik here to view.
Cc97768683b4e35a54ddea345ebdb7bf

NVIDIA在GTC 2024春季場推出人型機器人通用基礎模型Project GR00T,並發表對應的Jetson Thor單板電腦,進一步推動機器人技術和體現AI技術突破。

整合虛實訓練AI

NVIDIA推出的Isaac機器人平台除了具有透過CUDA加速的感知與模擬函數庫,也具有能夠在電腦中進行模擬並訓練AI模型的Isaac Sim,並在這次GTC 2024春季場發表GR00T計劃,推出人型機器人通用基礎模型Project GR00T,以及基於Thor SoC的單板電腦Jetson Thor,並於Isaac升級加入模擬的生成式AI基礎模型、工具和AI工作流程基礎架構,標進一步推動機器人技術和體現AI(Embodied AI)技術發展。

GR00T為Generalist Robot 00 Technology(通用型機器人技術)的縮寫,發音可以為Groot(音近格魯特)或直接唸出「G R Zero Zero T」英數字母,它能搭配大型語言模型(Large Language Model,LLM)理解自然語言,並透過攝影機拍攝、觀察人類行為來模仿動作,加快學習協調性、靈活性和其它技能。

GR00T能輕鬆在Isaac開發環境中建立適用於所有環境、任何機器人的基礎模型,並透過改良自Isaac Sim的輕量級Isaac Lab應用程式,透過GPU加速方式以合成資料進行模擬訓練,強化機器人AI模型的學習成效,並透過OSMO在分散式環境下協調所生成的資料、模型和軟硬體迴圈工作,以加速開發流程。

此外NVIDIA也發表了專為機器手臂設計的Isaac Manipulator基礎模型與GPU加速函數庫,提供靈活且模組化的AI功能,除了能夠提高80倍路徑規劃速度,也能提升零樣本感知的效率與吞吐量,以利自動執行更多的機器人任務。而Isaac Perceptor則提供多鏡頭、3D環視功能,能夠降低錯誤率與成本,並提高協同工作環境中的人員安全。

Image may be NSFW.
Clik here to view.
NVIDIA創辦人暨執行長黃仁勳在GTC 2024春季場的開幕演說結尾時多台機器人登台,且進行趣味互動。(可觀看重播影片1:54:45處。附帶一提,這些機器人皆尚未用到Jetson Thor)

Image may be NSFW.
Clik here to view.
黃仁勳在演說中表示Omniverse與Isaac將會帶來新一波工業革命。

Image may be NSFW.
Clik here to view.
人型機器人通用基礎模型Project GR00T能夠接收文字、影片或是觀查人類動作進行學習。

Image may be NSFW.
Clik here to view.
舉例來說,開發者可以將人類示範動作影片輸入Omniverse建立的數位攣生,並透過Isaac Lab訓練機器人AI模型。

Image may be NSFW.
Clik here to view.
開發者也可以在Omniverse中透過數位攣生以及合成場景進行AI模型的訓練工作。

Image may be NSFW.
Clik here to view.
使用虛擬方式進行AI模型訓練能夠以低成本進行大規訓練,這是在真實世界幾乎不可能達成的優勢。(可參考NVIDIA介紹影片2:03處)

Image may be NSFW.
Clik here to view.
ANYbotics機器狗在Omniverse數位攣生中透過Isaac Sim訓練機器人AI模型。

▲ANYbotics也於GTC 2024春季場的展間帶來機器狗的動態展示。但是可能是筆者人品出問題的關係,狗狗跳過箱子之後就薯掉囉……

Image may be NSFW.
Clik here to view.
OSMO能夠協調多種資料並驅動機器人。

Image may be NSFW.
Clik here to view.
開發者也能夠透過NVIDIA Tokkio服務讓機器人「講話」。

專為人型機器人打造

為了提供機器人效能更高的運算單元,NVIDIA也以Thor SoC為基礎開發Jetson Thor單板電腦,它採用模組化架構設計,可以依照需強針對效能、功耗與尺寸進行最佳化,能夠執行更複雜的程式,並提供安全、自然與機器進行互動的能力。

雖然NVIDIA並沒有在這次GTC發表太多Jetson Thor的資訊,但NVIDIA自動化機械事業部門副總裁暨總經理Deepu Talla在訪談中回答筆者提問時,表示Jetson Thor的SoC與車輛使用的Drive Thor基本上會採用相同的SoC,採用Blackwell架構GPU,並可透過Transformer引擎帶來800 TFLOPS的FP8資料類型AI運算效能,具備執行GR00T等多模態生成式AI模型的能力。

另一方面它也為了針對機器人使用的需求,在單板電腦模組上提供更多I/O端子與功能,並整合功能安全處理器、高效能CPU叢集與100GB乙太網路頻寬(100GB of ethernet bandwidth),大幅簡化設計與開發工作。

附帶一提,Deepu Talla也在訪談中說明,在開幕演說登場的機器人以目前以上市的運算平台為基礎開發,尚未使用Jetson Thor。

Image may be NSFW.
Clik here to view.
Jetson Thor是專為機器人設計的運算平台。

Image may be NSFW.
Clik here to view.
Jetson Thor具有更多I/O端子,並能透過高速網路串聯,分散多種運算需求。

Jetson Thor預計於2025年上市,目前尚未公布詳細規格,未來我們會持續追蹤報導。

回到GTC 2024春季場系列報導目錄

加入電腦王Facebook粉絲團

Viewing all articles
Browse latest Browse all 6443

Trending Articles