過去幾年，人形機器人徹底火了，不僅各企業競相加入這一賽道，同時也接連面世了諸多新產品。根據NVIDIA（英偉達）數據顯示，未來二十年，人形機器人市場預計將達到380億美元。為了滿足這一重大需求，特別是在工業和制造領域，NVIDIA正在發布一系列機器人基礎模型、數據管道和仿真框架，以加速下一代人形機器人的開發工作。

去年3月18日，NVIDA在GTC放出大招，形似漫威樹人英雄的名字“Groot”格魯特的機器人通用基礎模型Project GR00T正式發布。根據英偉達解釋，GR00T代表通用機器人00技術（Generalist Robot 00 Technology），旨在進一步推動其在機器人和具身智能方面的突破。Project GR00T的核心目標是開發一個能夠理解自然語言、模仿人類行為并快速學習協調各種技能的人形機器人。

今年CES 2025上，黃仁勛進一步宣布了NVIDIA ISAAC的關鍵更新——推出Isaac GR00T Blueprint（藍圖），以加速人形機器人的開發。換句話解釋，就是說NVIDIA最新GR00T項目有了突破性進展，可以用AI復制人類行為。

三步走：定義人形機器人的未來

人形機器人行業目前存在最大的問題是什么？那一定是訓練嚴重依賴真實世界數據，導致開發難度變大。在CES 2025上，黃仁勛就提出了這樣的問題：“在現實世界中收集高質量數據集可能非常耗時、昂貴且乏味，從而讓人望而卻步。Isaac GR00T Blueprint能以最少的投入呈指數級擴展數據集，從而彌合了這一差距。”

Isaac GR00T Blueprint是一個開創性的工具，它重新定義了“模仿學習“。該工具其能夠簡化和擴展人形機器人合成運動數據集的創建，使人形機器人能夠通過觀察和模仿專家人類的演示來獲得新技能，這一過程被英偉達稱為“模仿學習”。

Isaac GR00T Blueprint圍繞三個工作流構建：

1. GR00T-Teleop：這一階段的重點是數據收集，利用Apple Vision Pro記錄人類動作，創建用于模擬的數字孿生。機器人在仿真中模擬這些人類動作，并記錄下來用作地面實況。對，沒錯，就是那個特別貴的Apple Vision Pro，這一產品的堆料的確非常之強。

Apple Vision Pro將手部追蹤數據流式傳輸到Isaac Lab等模擬平臺，該平臺同時將機器人環境的沉浸式視圖流式傳輸回設備。這種設置實現了對機器人的直觀和交互式控制，有助于收集高質量的遠程操作數據。

2. GR00T-Mimic：這一階段的重點是合成軌跡生成，將捕獲的動作乘以更大的數據集進行訓練。基于原始的人類數據生成大量新的動作軌跡，過濾掉失敗的嘗試（比如摔掉杯子的那些動作），最終形成一個更大的數據集。

此過程包括注釋演示中的關鍵點，并使用插值來確保合成軌跡平滑且符合上下文。然后，對生成的數據進行評估和優化，以滿足訓練所需的標準。

3. GR00T-Gen：這一階段的重點是擴展數據集，或者說數字孿生，這一階段也是相對于過去信息中有一定革新的一個工作流。使用NVIDIA Omniverse和NVIDIA Cosmos進一步擴展數據集，并結合域隨機化和3D放大以指數方式擴展了此數據集。

最終，該數據集作為機器人策略輸入，教會機器人如何在NVIDIA ISAAC Lab（一個用于機器人學習的開源模塊化框架）中有效、安全地移動并與環境交互。

數字孿生：彌合模擬與現實的差距

在Isaac GR00T Blueprint中，Cosmos是本次CES 2025上全新展示的平臺。Cosmos是一個加速物理AI開發的平臺，它引入了一系列世界基礎模型（WFM，World Foundation Models），使用18千萬億個標記（包括自動駕駛和機器人數據）進行訓練，通過將3D圖像升級到真實世界的質量，最大限度地減少了模擬與現實世界的差距。

對于人形機器人來說，世界基礎模型（WFM）通過模擬虛擬環境供機器人學習，幫助機器人構建空間智能功能。通過利用模擬環境，可以提高數據效率，并允許快速迭代和同步訓練過程。這不僅加快了機器人的學習曲線，而且通過在受控環境中進行探索來確保安全。

此外，世界基礎模型（WFM）通過集成各種輸入模態、支持遷移學習和適應環境變化，有助于提高泛化和適應性。使機器人能夠通過擴展范圍內的高級規劃、模擬與對象的交互以及預測人類行為來掌握復雜的任務。此外，WFM還可以通過模擬場景和參與者-批評者的使用來優化政策學習。

值得一提的是，Omniverse與Cosmos這兩個平臺之間的配合非常關鍵。將Omniverse與Cosmos相結合，可確保高度準確、可控的模擬，從而降低通常與世界模型相關的幻覺風險。

換句話說，Cosmos和Omniverse的集成解決了機器人技術領域最大的挑戰之一：模擬與現實世界的差距。通過提供高度準確、物理感知的模擬，NVIDIA確保在虛擬環境中訓練的機器人可以無縫過渡到現實世界的應用程序。

Isaac還有什么進展值得關注

Isaac Sim 4.5中新增功能

NVIDIA ISAAC Sim是基于NVIDIA Omniverse構建的參考應用程序，使得開發者能夠在基于物理的虛擬環境中開發、模擬和測試AI驅動的機器人。新的Isaac Sim 4.5將于1 月底推出，將提供許多重大變化，包括以下內容：

• 參考應用程序模板：Isaac Sim的可定制參考應用程序已重新設計，包括用于更快啟動的最小模板和具有完整功能的完整模板，使得開發者能夠根據自己的特定需求定制應用程序。

• 改進的URDF導入和設置：對URDF導入器進行重大改進。用戶界面已簡化，以提供更簡化的流程，并與其他格式的導入方式保持一致。

• 改進的物理模擬和建模：取得重大進步。現可以定義和配置機器人組件之間的各種關節類型，設置剛度和阻尼等參數以微調關節行為。

• 新的關節可視化工具：使開發者能夠檢查所選圖元的物理屬性，包括位置、旋轉、線性和角速度以及加速度。

• 仿真精度和統計數據：仿真精度得到了極大的提高。

• NVIDIA Cosmos世界基礎模型：Cosmos 可以提取圖像和視頻，并輸出照片級視頻剪輯，然后重新訓練策略模型。

Isaac Lab 2.0 中新增功能

NVIDIA ISAAC Lab是一個開源的統一框架，用于機器人學習以訓練機器人策略。Isaac Lab基于NVIDIA ISAAC Sim構建，可幫助開發者和研究人員更高效地構建智能、適應性強的機器人，并采用強大的、支持感知的模擬訓練策略。新的2.0版Isaac Lab將于本月底推出，包括性能和可用性改進，包括：

• 平鋪渲染：平鋪渲染速度提升高達1.2倍，將同步模擬的輸出組合成單個大圖像，而不是處理來自單個攝像頭的大量較小圖像。

• 生活質量改善：使用Python包管理器簡化了安裝過程。Isaac Lab還將作為容器提供，支持跨系統移動工作負載，而無需底層依賴關系。

Isaac Manipulator 新增功能

基于ROS 2構建的NVIDIA ISAAC Manipulator是NVIDIA CUDA加速庫、AI模型和參考工作流的集合。使得開發者能夠構建支持AI的機器人手臂或操縱器，這些機器人可以感知、理解環境并與之交互。

Isaac Manipulator現在包括用于拾取和放置以及對象跟蹤的新端到端參考工作流程，使您能夠快速開始基本的工業機械臂任務：

• 對象跟隨：顯示機器人夾持器在繞過障礙物時保持相對于移動對象一致位置的能力。

• 拾取和放置：展示機器人如何在避開障礙物的同時拾取物體并將其釋放到預定區域。

Isaac Perceptor 中的新增功能

基于ROS 2構建的NVIDIA ISAAC Perceptor是 NVIDIA CUDA加速庫、AI模型和參考工作流的集合，用于開發自主移動機器人（AMR）。使AMR能夠在倉庫或工廠等非結構化環境中感知、定位和操作。Isaac Perceptor最新更新顯著提高了AMR在動態環境（如倉庫）中的環境感知和運營效率。主要新功能和改進包括：

• 新的端到端可視化 SLAM 參考工作流程。

• 使用多個攝像頭運行nvblox的新示例，用于使用人員檢測和動態場景元素進行 3D場景重建。

• 通過在多個RGB-D攝像頭上運行Isaac Perceptor改進了3D場景重建。

不斷擴展的生態系統：越來越多的參與者

任何工具都不能缺乏生態，而在CES 2025上，根據黃仁勛的分享，多個行業合作伙伴已宣布將NVIDIA ISAAC集成到他們的平臺和解決方案中：

• 波士頓動力公司正在使用Isaac Lab和NVIDIA Jetson AGX Orin來直接部署模擬策略以進行推理，從而簡化部署過程。

• 為了訓練GR-1和GR-2人形機器人，Fourier團隊轉向NVIDIA Isaac Gym進行強化學習。而現在，他們又開始將工作流移植到NVIDIA ISAAC Lab。

• Foxglove在Isaac Sim中開發了一個擴展，可以直接在Foxglove中實時可視化機器人仿真數據。

• Main Street Autonomy 正在使用 Isaac Perceptor 來簡化傳感器校準。

• Miso Robotics 正在使用 Isaac ROS 加快其 AI 機器人薯條制作機 Flippy Fry Station 的速度，并提高餐飲服務自動化的效率與準確性。

• RGo Robotics和NVIDIA正在使用Isaac Perceptor和Isaac ROS通過先進的 AI 和感知技術來改變移動機器人。

• NVIDIA初創加速計劃成員Scaled Foundations 開發了通用機器人智能開發 （GRID），這是一個基于云的高級平臺，可加速機器人AI解決方案的開發。GRID 無縫集成了Isaac Sim和Isaac Lab技術，為機器人開發人員和研究人員提供了一個端到端平臺，用于訓練、仿真和部署他們的機器人應用程序。

• Virtual Incision正在使用NVIDIA平臺，包括Holoscan、IGX、Sensor Bridge和 Isaac Sim。他們正在探索Cosmos來訓練、模擬和測試，同時也在探索下一代輔助機器人手術設備的推理 AI 功能。

• NVIDIA初創加速計劃成員和初創公司Wandelbots正在使用其操作系統 Wandelbots NOVA構建自定義機器人模擬，該系統與Isaac Sim無縫集成。