2026年6月3日，在ICRA 2026大會(huì)的主題演講環(huán)節(jié)，德克薩斯大學(xué)奧斯汀分校副教授、NVIDIA GEAR團(tuán)隊(duì)負(fù)責(zé)人朱玉可（Yuke Zhu）發(fā)表了關(guān)于人形機(jī)器人基礎(chǔ)模型的最新演講。他在演講中系統(tǒng)性地拆解了當(dāng)前人形機(jī)器人面臨的最大瓶頸——數(shù)據(jù)，并提出了以“數(shù)據(jù)金字塔”為框架、以“世界模型”為引擎的規(guī)?；窂?。

朱玉可指出，人形機(jī)器人正在進(jìn)入一個(gè)全新的加速階段：硬件日益成熟，學(xué)習(xí)算法和基礎(chǔ)模型的規(guī)?；苍诳焖偻七M(jìn)。但真正制約這一領(lǐng)域從Demo走向大規(guī)模部署的，仍然是數(shù)據(jù)。真實(shí)機(jī)器人數(shù)據(jù)質(zhì)量最高但極其稀缺，仿真數(shù)據(jù)可以無(wú)限生成但存在仿真到真實(shí)的鴻溝。

為此，他提出了一個(gè)三層數(shù)據(jù)金字塔策略：底層是海量但被動(dòng)的互聯(lián)網(wǎng)人類視頻數(shù)據(jù)，中層是可無(wú)限生成的合成數(shù)據(jù)，頂層是真實(shí)機(jī)器人數(shù)據(jù)。

他的核心觀點(diǎn)是：不應(yīng)押注單一數(shù)據(jù)源，而應(yīng)以異質(zhì)方式匯集三種數(shù)據(jù)，同時(shí)讓世界模型扮演“數(shù)據(jù)海綿”的角色，吸收并整合所有類型的數(shù)據(jù)。

在具體實(shí)踐中，朱玉可展示了兩個(gè)典型案例：一是SONIC——利用大規(guī)模人類動(dòng)作捕捉數(shù)據(jù)訓(xùn)練人形機(jī)器人全身控制器，通過(guò)運(yùn)動(dòng)跟蹤目標(biāo)大幅簡(jiǎn)化了強(qiáng)化學(xué)習(xí)的獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)，實(shí)現(xiàn)萬(wàn)小時(shí)級(jí)別的規(guī)?；?xùn)練；二是EgoScale——從第一人稱視角的人類視頻中學(xué)習(xí)，通過(guò)“預(yù)訓(xùn)練獲取人類知識(shí)→對(duì)齊訓(xùn)練壓縮知識(shí)→后訓(xùn)練表達(dá)知識(shí)”的三階段方案，使得機(jī)器人僅需不到1%的真實(shí)機(jī)器人數(shù)據(jù)就能完成復(fù)雜操作任務(wù)。

整場(chǎng)演講最令人振奮的結(jié)論，來(lái)自DreamZero世界動(dòng)作（World Action Model，WAM）模型：通過(guò)將視頻生成模型轉(zhuǎn)化為動(dòng)作生成器，純AI生成的虛擬軌跡在訓(xùn)練價(jià)值上幾乎100%等效于真實(shí)物理數(shù)據(jù)。

朱玉可最后強(qiáng)調(diào)，要推動(dòng)整個(gè)領(lǐng)域前進(jìn)，開(kāi)源和開(kāi)放是不可或缺的。NVIDIA已開(kāi)源GR00T基礎(chǔ)模型、Isaac仿真框架及相關(guān)數(shù)據(jù)集，并剛剛發(fā)布了首個(gè)H2 Plus參考平臺(tái)。

 

以下是朱玉可在ICRA 2026大會(huì)發(fā)表的演講精編稿，雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))基于原英文演講內(nèi)容進(jìn)行了不改原意的翻譯編輯：

 

人形機(jī)器人正在進(jìn)入新時(shí)代

我今天要講的是人形機(jī)器人和基礎(chǔ)模型。先給一個(gè)總結(jié)：我認(rèn)為我們正在進(jìn)入人形機(jī)器人技術(shù)的一個(gè)全新時(shí)代。硬件越來(lái)越強(qiáng)大，學(xué)習(xí)算法、基礎(chǔ)模型的規(guī)?；苍絹?lái)越可行。

但我必須說(shuō)，最大的挑戰(zhàn)、或許同時(shí)也是最大的機(jī)遇，仍然擺在我們面前。

“打造自主的、類人的機(jī)器人”這個(gè)夢(mèng)想，已經(jīng)讓人類著迷了數(shù)百年。機(jī)器人這個(gè)詞最早出自1920年卡雷爾·恰佩克的戲劇，名字就叫《羅素姆的萬(wàn)能機(jī)器人》。從一開(kāi)始，人們就把機(jī)器人想象成類人的通用工作者，而不是為特定用途定制的機(jī)器。

回顧人形機(jī)器人的發(fā)展歷程，我們看到一波又一波的炒作周期：從七八十年代論證技術(shù)可行性的概念驗(yàn)證系統(tǒng)，到那些最終沒(méi)有實(shí)現(xiàn)大規(guī)模商業(yè)成功的愿景原型，再到社交伴侶機(jī)器人。大約十年前，DARPA機(jī)器人挑戰(zhàn)賽給我們潑了一盆冷水，清楚揭示了即使在人類監(jiān)督下，讓機(jī)器人進(jìn)入實(shí)際使用有多么困難。直到現(xiàn)在，沒(méi)有任何一款人形機(jī)器人實(shí)現(xiàn)了大規(guī)模、快速的部署。

但在2022年左右，我們開(kāi)始看到一場(chǎng)“人形機(jī)器人爆炸”。各大公司、初創(chuàng)企業(yè)、研究機(jī)構(gòu)都在制造越來(lái)越強(qiáng)大的機(jī)器人。我認(rèn)為這在很大程度上是由AI和基礎(chǔ)模型、大語(yǔ)言模型的進(jìn)步所驅(qū)動(dòng)的。今天，我會(huì)展示我們最新的研究成果，我的目標(biāo)是讓你們看到：我們有理由保持樂(lè)觀，因?yàn)檫M(jìn)步是扎實(shí)的。

但同時(shí)我也要非常坦誠(chéng)：還沒(méi)有人找到終極配方。這正是投入這個(gè)領(lǐng)域的最佳時(shí)機(jī)。

GR00T架構(gòu)：系統(tǒng)二 + 系統(tǒng)一 + 全身控制

大約兩年前，我有幸在英偉達(dá)領(lǐng)導(dǎo)一支人形機(jī)器人研究團(tuán)隊(duì)。2024年3月GTC大會(huì)上，黃仁勛走上臺(tái)宣布了GR00T項(xiàng)目。這是一個(gè)為構(gòu)建人形機(jī)器人全棧解決方案的計(jì)劃。GR00T-1是我們推出的第一個(gè)開(kāi)源人形基礎(chǔ)模型。

 

整體架構(gòu)采用了一種雙層設(shè)計(jì)。系統(tǒng)二是一個(gè)視覺(jué)語(yǔ)言模型，接收?qǐng)D像和語(yǔ)言指令作為輸入，生成動(dòng)作token；這些token傳遞給系統(tǒng)一，即擴(kuò)散Transformer，生成閉環(huán)動(dòng)作供機(jī)器人執(zhí)行。整個(gè)模型可以端到端訓(xùn)練。

但在實(shí)踐中，當(dāng)你需要控制一個(gè)超過(guò)四五十個(gè)自由度的系統(tǒng)時(shí)，通常還需要一個(gè)用強(qiáng)化學(xué)習(xí)訓(xùn)練的全身控制器，將基礎(chǔ)模型產(chǎn)生的高級(jí)指令轉(zhuǎn)化為每個(gè)關(guān)節(jié)的最終執(zhí)行動(dòng)作。預(yù)訓(xùn)練模型賦予機(jī)器人泛化能力，使其能夠遵循不同的語(yǔ)言指令，對(duì)不同物體和任務(wù)目標(biāo)執(zhí)行任務(wù)。模型還可以進(jìn)一步進(jìn)行后訓(xùn)練，執(zhí)行更復(fù)雜的操作。

在我們最新的GR00T迭代版本N1.7中，我們嘗試解鎖機(jī)器人的整個(gè)運(yùn)動(dòng)學(xué)范圍，通過(guò)全身運(yùn)動(dòng)操作完成任務(wù)。這個(gè)模型僅用幾十個(gè)演示進(jìn)行后訓(xùn)練，就能完成復(fù)雜的工業(yè)流程任務(wù)。

你們可能已經(jīng)在這幾天的海報(bào)展示中多次聽(tīng)到：數(shù)據(jù)，仍然是規(guī)?；嵘龣C(jī)器人能力的核心瓶頸。

數(shù)據(jù)金字塔：異質(zhì)數(shù)據(jù)的規(guī)?；呗?/span>

大約幾年前，我提出了一個(gè)“數(shù)據(jù)金字塔”的概念，它清楚說(shuō)明了我們的數(shù)據(jù)策略：我們不會(huì)只依賴單一數(shù)據(jù)源來(lái)擴(kuò)展，而是要大規(guī)模地匯集異質(zhì)數(shù)據(jù)源。

 

我把數(shù)據(jù)源組織成三層：

與其只依賴一種數(shù)據(jù)源，我們的大量研究都致力于如何有效利用整個(gè)數(shù)據(jù)金字塔。今天我想把重點(diǎn)放在金字塔的最底層，人類數(shù)據(jù)。

我認(rèn)為人類數(shù)據(jù)是目前最具可擴(kuò)展性的數(shù)據(jù)來(lái)源?；ヂ?lián)網(wǎng)以人為中心，捕捉了我們世界的樣子、人類的行為方式、日常任務(wù)和日常生活。而人形機(jī)器人可能是消費(fèi)這類數(shù)據(jù)最自然的形態(tài)，因?yàn)樾螒B(tài)差距更小。

具體來(lái)說(shuō)，我們探索了兩種人類數(shù)據(jù)形式：人類動(dòng)作捕捉數(shù)據(jù)和第一人稱視角的人類視頻。

SONIC：用人類動(dòng)捕訓(xùn)練全身控制器

對(duì)于人類動(dòng)作捕捉數(shù)據(jù)，我們?cè)谝粋€(gè)叫SONIC的工作中探索用它訓(xùn)練通用的人形全身控制器。核心思路是：首先將人類運(yùn)動(dòng)重定向到特定人形機(jī)器人的形態(tài)上，生成對(duì)應(yīng)的動(dòng)捕數(shù)據(jù)庫(kù)，然后將運(yùn)動(dòng)跟蹤作為強(qiáng)化學(xué)習(xí)的訓(xùn)練目標(biāo)。

這種組合極大簡(jiǎn)化了獎(jiǎng)勵(lì)函數(shù)的設(shè)計(jì)，從而使規(guī)模化強(qiáng)化學(xué)習(xí)訓(xùn)練成為可能。做大規(guī)模的事情時(shí)，簡(jiǎn)潔往往帶來(lái)更好的可擴(kuò)展性。

我們?cè)谌齻€(gè)維度上擴(kuò)展了模型訓(xùn)練：參數(shù)量從120萬(wàn)提升到4200萬(wàn)，這個(gè)規(guī)模足夠強(qiáng)大，但依然小到可以部署在機(jī)器人本體的NVIDIA Jetson上；數(shù)據(jù)量達(dá)到1億幀，總計(jì)超過(guò)10700小時(shí)的人類動(dòng)捕數(shù)據(jù)；訓(xùn)練使用了9000個(gè)GPU小時(shí)，每個(gè)GPU運(yùn)行自己的物理仿真副本，合計(jì)相當(dāng)于數(shù)千年的真實(shí)機(jī)器人經(jīng)驗(yàn)。

SONIC的關(guān)鍵在于動(dòng)作的自然流暢度，這主要來(lái)自運(yùn)動(dòng)跟蹤目標(biāo)，讓模型更好地模仿人類運(yùn)動(dòng)。這個(gè)模型可以接受遙操作、基礎(chǔ)模型輸出、甚至人類視頻作為高級(jí)指令。我們已將其部署在宇樹(shù)G1機(jī)器人上，訓(xùn)練代碼、部署框架和數(shù)據(jù)集完全開(kāi)源。

EgoScale：第一人稱視角視頻的三階段訓(xùn)練

我們感興趣的第二種數(shù)據(jù)形式，是第一人稱視角的人類視頻。

這類視頻提供了一個(gè)窗口，讓我們觀察人類日?；顒?dòng)中豐富的多樣性和復(fù)雜性。在最近的工作EgoScale中，我們跟蹤人類手腕和手指在三維空間中的運(yùn)動(dòng)，也就是說(shuō)把人想象成一個(gè)機(jī)器人，頭部運(yùn)動(dòng)就是動(dòng)作空間，如此將第一人稱視角視頻轉(zhuǎn)化為訓(xùn)練數(shù)據(jù)。

 

EgoScale的訓(xùn)練方案由三個(gè)階段組成：第一階段僅在人類視頻上預(yù)訓(xùn)練，從第一人稱視角視角預(yù)測(cè)手部運(yùn)動(dòng)；第二階段在配對(duì)的人機(jī)數(shù)據(jù)上對(duì)齊表征，使知識(shí)從人類領(lǐng)域遷移到機(jī)器人領(lǐng)域；第三階段用少量真實(shí)機(jī)器人數(shù)據(jù)精調(diào)模型。

用概念框架來(lái)理解：預(yù)訓(xùn)練階段是“獲取人類知識(shí)”，從視頻中收獲常識(shí)和物理知識(shí)；對(duì)齊訓(xùn)練階段是“壓縮知識(shí)”，從人類領(lǐng)域壓縮到機(jī)器人領(lǐng)域；后訓(xùn)練階段是“表達(dá)知識(shí)”，利用積累的知識(shí)解決具體任務(wù)。

這項(xiàng)工作最讓我興奮的是，模型對(duì)更多人類視頻數(shù)據(jù)有著巨大的胃口。當(dāng)我們將視頻數(shù)據(jù)從1000小時(shí)擴(kuò)展到20000小時(shí)，模型性能穩(wěn)步提升，呈現(xiàn)出近乎完美的對(duì)數(shù)線性關(guān)系，意味著繼續(xù)投入數(shù)據(jù)，性能還會(huì)持續(xù)提升。

真正的“魔法”來(lái)自預(yù)訓(xùn)練，預(yù)訓(xùn)練得越好，后訓(xùn)練所需數(shù)據(jù)就越少。這就是我們的規(guī)?；桨福航^大部分?jǐn)?shù)據(jù)來(lái)自人類數(shù)據(jù)，不到1%來(lái)自真實(shí)機(jī)器人。

世界模型即“數(shù)據(jù)海綿”

在演講剩余的時(shí)間里，我要講講“海綿”的故事。我所說(shuō)的海綿，是世界模型。世界模型像海綿，因?yàn)樗幸环N神奇的能力，可以吸收數(shù)據(jù)金字塔中各種類型的數(shù)據(jù)。

它可以從互聯(lián)網(wǎng)視頻中學(xué)習(xí)，獲取常識(shí)和物理知識(shí)、語(yǔ)義知識(shí)和程序性知識(shí)；可以從合成數(shù)據(jù)中學(xué)習(xí)，受益于控制多樣性；可以從真實(shí)機(jī)器人軌跡中學(xué)習(xí)，精化特定任務(wù)的表征；可以從多模態(tài)數(shù)據(jù)、音頻數(shù)據(jù)中學(xué)習(xí)。也許最重要的是，可以從失敗數(shù)據(jù)中學(xué)習(xí)，這類數(shù)據(jù)對(duì)策略改進(jìn)非常有用。

DreamZero：世界動(dòng)作模型

我們?cè)贒reamZero工作中探索了這個(gè)想法，用世界模型構(gòu)建下一代NVIDIA基礎(chǔ)模型。核心是“世界動(dòng)作模型”，想象視頻生成模型如何工作：從初始幀開(kāi)始，從一個(gè)帶噪聲的視頻出發(fā)，逐步去噪，生成清晰視頻。在大規(guī)模互聯(lián)網(wǎng)數(shù)據(jù)上訓(xùn)練這樣的模型，它能捕捉相當(dāng)多的物理理解。然后在機(jī)器人數(shù)據(jù)上微調(diào)，告訴模型機(jī)器人應(yīng)該長(zhǎng)什么樣、應(yīng)該如何運(yùn)動(dòng)。

關(guān)鍵創(chuàng)新在于，我們不僅讓模型生成未來(lái)畫(huà)面，還增加一個(gè)擴(kuò)散通道同步生成動(dòng)作。測(cè)試時(shí)我們丟棄未來(lái)幀預(yù)測(cè)，只提取動(dòng)作執(zhí)行。僅通過(guò)視頻生成模型或世界模型，就能顯著增強(qiáng)視角泛化能力和行為克隆的樣本效率。

這是我第一次在公開(kāi)場(chǎng)合展示這些結(jié)果。訓(xùn)練GR00T基礎(chǔ)模型執(zhí)行復(fù)雜任務(wù)，展示了閉環(huán)策略學(xué)習(xí)和反應(yīng)式恢復(fù)行為。如果你從事機(jī)器人研究足夠久，會(huì)認(rèn)出這個(gè)YCB數(shù)據(jù)集中的物體。十年前我看到它時(shí)，覺(jué)得絕不可能用機(jī)器人完成這樣的裝配任務(wù)。但現(xiàn)在，有了基礎(chǔ)模型，這已經(jīng)變成可能了。而且是在一天之內(nèi)完成的，無(wú)需任何人工干預(yù)。

我對(duì)過(guò)去兩年取得的進(jìn)展感到興奮，社區(qū)中的加速非常驚人。但也很容易看到，還有大量工作需要做，我們需要更廣泛的研究社區(qū)參與。這也是為什么我個(gè)人非常堅(jiān)定地看好開(kāi)源。

無(wú)論是在UT Austin的實(shí)驗(yàn)室，還是我在英偉達(dá)的團(tuán)隊(duì)，我們都盡可能開(kāi)放開(kāi)源基礎(chǔ)模型、開(kāi)源仿真框架，比如Isaac、開(kāi)源數(shù)據(jù)集和基準(zhǔn)。

就在這個(gè)星期一，我們剛剛宣布了首個(gè)H2 Plus參考平臺(tái)。打造人形機(jī)器人的夢(mèng)想已經(jīng)讓我們著迷了超過(guò)一百年。但最終，我看到各種技術(shù)要素正在匯聚，讓我們真正有可能實(shí)現(xiàn)這個(gè)夢(mèng)想。我邀請(qǐng)?jiān)谧魑灰黄鸺尤耄餐瑢⑦@個(gè)夢(mèng)想變?yōu)楝F(xiàn)實(shí)。

 

Q&A 問(wèn)答環(huán)節(jié)

聽(tīng)眾：請(qǐng)問(wèn)您如何讓這些基礎(chǔ)模型在特定領(lǐng)域內(nèi)達(dá)到90%的成功率，實(shí)現(xiàn)更高的可復(fù)現(xiàn)性和可靠性？

朱玉可：這是一個(gè)非常好的問(wèn)題。如果你看過(guò)大語(yǔ)言模型是如何訓(xùn)練的，就會(huì)知道預(yù)訓(xùn)練只是訓(xùn)練的第一階段。在機(jī)器人領(lǐng)域，后訓(xùn)練和對(duì)齊同樣關(guān)鍵。你需要針對(duì)特定任務(wù)場(chǎng)景，用高質(zhì)量的領(lǐng)域數(shù)據(jù)進(jìn)行精調(diào)。同時(shí)，可復(fù)現(xiàn)性需要嚴(yán)格的評(píng)估基準(zhǔn)和標(biāo)準(zhǔn)化的測(cè)試協(xié)議，這一點(diǎn)我們?cè)赮CB等基準(zhǔn)工作的基礎(chǔ)上還需要持續(xù)推進(jìn)。總的來(lái)說(shuō)，預(yù)訓(xùn)練給你泛化的底座，后訓(xùn)練給你領(lǐng)域的深度，兩者缺一不可。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。