2026年6月4日，在ICRA 2026大會(huì)的Keynote 3“Robot Perception and Spatial AI”環(huán)節(jié)中，MIT副教授Luca Carlone發(fā)表了題為“Maps, Memory, and Tasks — Toward Spatial Al for the Next Generation of Robots”的主旨演講。他系統(tǒng)性地論證了一個(gè)核心觀點(diǎn)：下一代機(jī)器人更需要任務(wù)驅(qū)動(dòng)的記憶系統(tǒng)，而非一味追求更精確的地圖。

Carlone指出，經(jīng)典SLAM雖然成功，但流水線極其復(fù)雜。稠密條件模型（如Visual Geometry Grounded Transformer）用統(tǒng)一前饋框架革新了這一領(lǐng)域，卻受限于幀數(shù)處理能力。團(tuán)隊(duì)通過(guò)子地圖切分?jǐn)U展VGGT，卻發(fā)現(xiàn)射影歧義導(dǎo)致子地圖對(duì)齊產(chǎn)生偽影。為此，他們將傳統(tǒng)的位姿圖優(yōu)化升級(jí)為模型圖優(yōu)化，成功修正了尺度信息。

但僅有地圖遠(yuǎn)遠(yuǎn)不夠。Carlone論證了從地圖到記憶的必要性：傳統(tǒng)地圖只能回答“自由空間在哪”，而記憶應(yīng)讓機(jī)器人回答“我上周把鑰匙放哪了”、“當(dāng)時(shí)天氣怎樣”這類(lèi)涉及時(shí)空和經(jīng)驗(yàn)的復(fù)雜查詢(xún)。團(tuán)隊(duì)構(gòu)建了3D場(chǎng)景圖→DAAAM（開(kāi)放詞匯場(chǎng)景圖）→情景記憶（基于驚喜度的視頻存儲(chǔ)）的遞進(jìn)路徑，使機(jī)器人既能檢索事實(shí)，也能回放經(jīng)歷。

最后，Carlone提出“記憶應(yīng)該是綠色的、輕量的”。Clio系統(tǒng)引入信息瓶頸工具構(gòu)建任務(wù)驅(qū)動(dòng)的場(chǎng)景圖表征，通過(guò)感知具體任務(wù)來(lái)過(guò)濾無(wú)關(guān)信息，實(shí)現(xiàn)更少、更準(zhǔn)的存儲(chǔ)。其后續(xù)工作Found-IT進(jìn)一步支持在運(yùn)行時(shí)動(dòng)態(tài)指定任務(wù)，擺脫了對(duì)預(yù)設(shè)任務(wù)列表的依賴(lài)。

 

以下為L(zhǎng)uca Carlone在ICRA 2026大會(huì)發(fā)表的演講精編稿，AI科技評(píng)論基于原英文演講內(nèi)容進(jìn)行不改原意的翻譯編輯：

演講正文：從經(jīng)典SLAM到語(yǔ)義建圖

今天我演講的主題是“地圖、記憶與任務(wù)——以及空間AI的未來(lái)”。內(nèi)容主要聚焦于我們實(shí)驗(yàn)室最近的工作，包括幾周前剛發(fā)布的研究。深耕這個(gè)領(lǐng)域大約20年，我切身感受到現(xiàn)在是最令人興奮的時(shí)刻。硬件的飛速進(jìn)步以及基礎(chǔ)模型的涌現(xiàn)，讓我們能夠理解和評(píng)估以前無(wú)法觸及的課題。

當(dāng)前，從工業(yè)界到學(xué)術(shù)界，各類(lèi)新型機(jī)器人層出不窮。人形機(jī)器人有望在復(fù)雜的長(zhǎng)期任務(wù)中與人類(lèi)無(wú)縫協(xié)作。但核心問(wèn)題在于：我們?nèi)绾巫寵C(jī)器人在真實(shí)規(guī)模的環(huán)境中執(zhí)行這類(lèi)長(zhǎng)期任務(wù)？

我認(rèn)為，要構(gòu)建這個(gè)未來(lái)，下一代機(jī)器人需要引入任務(wù)驅(qū)動(dòng)的記憶系統(tǒng)，而這種系統(tǒng)的核心在于條件化的信息處理。

首先來(lái)看3D建圖，即從經(jīng)典建圖模型到語(yǔ)義建圖模型的演進(jìn)。隨后我將論證為什么僅有地圖是不夠的，我們必須開(kāi)始構(gòu)建機(jī)器人的記憶能力。最后，我將探討如何將記憶設(shè)計(jì)為支持機(jī)器人執(zhí)行具體任務(wù)的工具。

經(jīng)典SLAM取得了巨大的成功，但其整個(gè)流水線極其復(fù)雜。過(guò)去三年中，稠密條件模型徹底革新了這一領(lǐng)域。它表明你可以利用同一個(gè)前饋框架來(lái)處理復(fù)雜的SLAM問(wèn)題，將圖像直接映射為3D結(jié)構(gòu)和相機(jī)位姿。更關(guān)鍵的是，這種新架構(gòu)能夠處理來(lái)自多個(gè)相機(jī)的實(shí)時(shí)數(shù)據(jù)流，這在傳統(tǒng)SLAM中是難以企及的。

然而，像VGGT這類(lèi)稠密基礎(chǔ)模型同樣存在局限。例如，VGGT在內(nèi)存耗盡前大約只能處理60幀；即使是最新的VGGT-Ω，處理500幀也需要大約一分鐘。但在實(shí)際的SLAM場(chǎng)景中，包含上萬(wàn)幀、覆蓋長(zhǎng)期運(yùn)行軌跡的情況屢見(jiàn)不鮮。

射影歧義與模型圖優(yōu)化

為了擴(kuò)展這些稠密條件模型，我們的基本思路是將軌跡切分為多個(gè)子地圖，用VGGT逐個(gè)處理后，再利用傳統(tǒng)位姿圖優(yōu)化進(jìn)行對(duì)齊。

但測(cè)試結(jié)果卻出乎意料，對(duì)齊同一區(qū)域的兩個(gè)子地圖時(shí)，場(chǎng)景中的衣柜竟然被重復(fù)放置在了床的兩側(cè)。這些偽影源于計(jì)算機(jī)視覺(jué)中經(jīng)典的“射影歧義”。

本質(zhì)上，我們是在利用多個(gè)透視相機(jī)重建場(chǎng)景，且唯一已知的是相機(jī)內(nèi)參。當(dāng)固定相機(jī)內(nèi)參時(shí)，3D重建的尺度是不確定的。如果相機(jī)完全未標(biāo)定，相似結(jié)構(gòu)的場(chǎng)景就極易被混淆。在一個(gè)未標(biāo)定相機(jī)的會(huì)話中，你很難區(qū)分一個(gè)完美的立方體結(jié)構(gòu)與一個(gè)變形的結(jié)構(gòu)，因?yàn)檫@種變形極易被誤判為相機(jī)標(biāo)定參數(shù)的變化。這就解釋了為什么SLAM中會(huì)產(chǎn)生此類(lèi)偽影。

基于這一洞察，我們發(fā)現(xiàn)不同子地圖具有不同的尺度信息。對(duì)此，我們的貢獻(xiàn)在于證明了通過(guò)對(duì)子地圖施加適當(dāng)?shù)南嗨谱儞Q，可以有效修正尺度信息。我們將傳統(tǒng)的位姿圖優(yōu)化升級(jí)為模型圖優(yōu)化，在模型度量空間中進(jìn)行同步優(yōu)化，從而解決了部分子地圖受尺度歧義影響的問(wèn)題。

從實(shí)際效果看，在相同的場(chǎng)景中，衣柜實(shí)現(xiàn)了更緊密的匹配與對(duì)齊，尺度信息得到了修正。目前該方法已在室內(nèi)外各種環(huán)境中得到驗(yàn)證，下個(gè)月的ICRA上我們還將展示一篇新論文，未來(lái)該方法將進(jìn)一步擴(kuò)展到更大規(guī)模的場(chǎng)景中。

稠密條件模型的應(yīng)用并不局限于SLAM。我們還嘗試將VGGT作為視聽(tīng)覺(jué)語(yǔ)言模型（VLA）的工具：由VGGT將圖像映射為3D結(jié)構(gòu)和視頻token，再將這些token注入VLA中，從而賦予模型更出色的3D場(chǎng)景理解能力。

在Unitree G1機(jī)器人的測(cè)試中，我們對(duì)比了標(biāo)準(zhǔn)VLA（如Octo 1.5）與經(jīng)VGGT增強(qiáng)后的VLA的操作性能。結(jié)果表明，VGGT增強(qiáng)版本在操作任務(wù)中的成功率顯著提升。

從地圖到記憶：3D場(chǎng)景圖與DAAAM

接下來(lái)討論超越建圖的必要性，即如何提煉環(huán)境中的核心語(yǔ)義要素。

傳統(tǒng)地圖的本質(zhì)是記錄環(huán)境的幾何結(jié)構(gòu)，機(jī)器人只能回答“自由空間在哪里”、“障礙物在哪里”這類(lèi)基礎(chǔ)問(wèn)題。2015年左右，行業(yè)開(kāi)始向度量語(yǔ)義地圖轉(zhuǎn)變，將語(yǔ)義標(biāo)簽附加到標(biāo)準(zhǔn)幾何地圖上。這讓機(jī)器人能夠處理稍微復(fù)雜的查詢(xún)，比如尋找椅子、桌子或詢(xún)問(wèn)桌子的高度。但這些依然停留在基于基礎(chǔ)語(yǔ)義的簡(jiǎn)單檢索層面。

我認(rèn)為，當(dāng)下的機(jī)器人必須實(shí)現(xiàn)從地圖到記憶的躍升。記憶是指編碼、存儲(chǔ)和提取環(huán)境更泛化信息的能力，同時(shí)記錄機(jī)器人自身的行為體驗(yàn)。

擁有記憶后，機(jī)器人就能理解更符合人類(lèi)習(xí)慣的自然語(yǔ)言提問(wèn)，比如：“我上周把鑰匙放哪了？”、“Bob的T恤是什么顏色？”或者“當(dāng)時(shí)天氣怎樣？”機(jī)器人的內(nèi)部表征必須足夠豐富，才能支撐起這類(lèi)跨越時(shí)空與經(jīng)驗(yàn)的復(fù)雜查詢(xún)。

過(guò)去幾年，我們一直在倡導(dǎo)使用3D場(chǎng)景圖來(lái)存儲(chǔ)環(huán)境中物體、智能體、地點(diǎn)等信息，這可以被視為一種初級(jí)的、局部的記憶形式。

3D場(chǎng)景圖是一種層次化表征，它遵循環(huán)境的多級(jí)結(jié)構(gòu)，從底層的幾何、物體、智能體、場(chǎng)所，一直延伸到房間和建筑層級(jí)。

我們團(tuán)隊(duì)不僅提出了新的表征方式，還開(kāi)發(fā)了首個(gè)能夠直接從傳感器數(shù)據(jù)增量式構(gòu)建場(chǎng)景圖的系統(tǒng)——Hydra。過(guò)去三到五年中，我們證實(shí)了該系統(tǒng)在室內(nèi)到公里級(jí)室外環(huán)境中的建圖能力。

盡管這些工具已經(jīng)能夠捕捉基礎(chǔ)語(yǔ)義、幾何信息以及物體間的關(guān)系，但實(shí)際的機(jī)器人操作往往需要更細(xì)膩的知識(shí)輸入。例如，機(jī)器人不僅需要知道“這里有一輛自行車(chē)”，更需要記住“這里有一輛藍(lán)色自行車(chē)”或“一輛輪胎沒(méi)氣的自行車(chē)”。

為此，我們開(kāi)發(fā)了DAAAM。作為首個(gè)實(shí)時(shí)開(kāi)放詞匯3D場(chǎng)景圖系統(tǒng)，它能夠?yàn)槲矬w生成極其豐富的描述。我們借助基礎(chǔ)視覺(jué)-語(yǔ)言模型（VLM）來(lái)標(biāo)注物體，同時(shí)為了確保實(shí)時(shí)性，引入了幀采集策略來(lái)挑選最佳視角，緩解了標(biāo)注速度慢的瓶頸。隨后，這些描述會(huì)從物體層級(jí)向上傳播，為區(qū)域乃至整個(gè)場(chǎng)景圖補(bǔ)充上下文。

生成的場(chǎng)景圖支持自然語(yǔ)言查詢(xún)。我們?cè)O(shè)計(jì)了一種基于智能體的聊天交互方式，允許用戶(hù)像使用ChatGPT一樣檢索環(huán)境記憶。例如，輸入“你看到放在德州儀器入口旁邊的護(hù)照了嗎？”，系統(tǒng)會(huì)迅速定位關(guān)聯(lián)位置，推斷出護(hù)照的具體位置與時(shí)間，并回答“15分鐘前在那里”。

情景記憶：基于驚喜度的視頻存儲(chǔ)

在后續(xù)迭代中我們發(fā)現(xiàn)，現(xiàn)有工作大多基于一種高度“有損”的表征。如果場(chǎng)景圖缺少推理所需的信息，機(jī)器人就會(huì)陷入困境。例如，它可能無(wú)法回答關(guān)于某個(gè)動(dòng)態(tài)動(dòng)作的提問(wèn)，或者無(wú)法分辨什么是“十字路口”，因?yàn)檫@些動(dòng)態(tài)信息在幾何或靜態(tài)語(yǔ)義建圖中被過(guò)濾了。

這一局限性的解法同樣存在于神經(jīng)科學(xué)中。人類(lèi)的記憶兼具語(yǔ)義記憶與情景記憶。語(yǔ)義記憶負(fù)責(zé)檢索事實(shí)與關(guān)系（3D場(chǎng)景圖即扮演此類(lèi)角色，盡管目前還相對(duì)局限）；而情景記憶則是對(duì)事件更生動(dòng)的片段式記錄，就像一段描繪特定遭遇的短視頻。正如人類(lèi)遭遇事故時(shí)能極其生動(dòng)地回憶起畫(huà)面細(xì)節(jié)一樣，情景記憶關(guān)注的就是這類(lèi)關(guān)鍵事件。

受此啟發(fā)，我們開(kāi)發(fā)了一個(gè)基于驚喜度的機(jī)器人情景記憶框架。系統(tǒng)會(huì)實(shí)時(shí)計(jì)算一個(gè)度量指標(biāo)，用區(qū)域的“驚喜度”來(lái)衡量新輸入環(huán)境帶來(lái)的沖擊。一旦遭遇高驚喜度事件，系統(tǒng)就會(huì)自動(dòng)攔截并存儲(chǔ)一段短視頻。

這里核心的設(shè)計(jì)在于驚喜度指標(biāo)的選取。我們引入了世界模型工具V-JEPA2，用它來(lái)捕捉場(chǎng)景的相關(guān)動(dòng)態(tài)。因?yàn)樗懿蹲綀?chǎng)景的相關(guān)動(dòng)態(tài)，它本質(zhì)上是一個(gè)世界模型。我們將這個(gè)框架集成到了3D場(chǎng)景圖系統(tǒng)中。通過(guò)這個(gè)方式，場(chǎng)景圖捕捉信息的能力得到了質(zhì)的提升。通過(guò)引入短視頻存儲(chǔ)，機(jī)器人得以應(yīng)對(duì)更高級(jí)的條件查詢(xún)。

在測(cè)試視頻中，面對(duì)用戶(hù)提問(wèn)“頭盔上是什么顏色？”，由于頭盔顏色在移動(dòng)過(guò)程中發(fā)生了變化，系統(tǒng)能夠調(diào)取記憶中的視頻片段進(jìn)行比對(duì)推理，準(zhǔn)確給出了結(jié)合時(shí)間軸的正確答案。

任務(wù)驅(qū)動(dòng)的記憶：Clio與Found-IT

最后，我想探討為什么記憶表征必須由任務(wù)來(lái)驅(qū)動(dòng)。

上述所有探索似乎都在引導(dǎo)我們?nèi)ゴ鎯?chǔ)更多、更豐富的信息（如長(zhǎng)文本描述、視頻片段等）。然而，面對(duì)海量數(shù)據(jù)，核心問(wèn)題隨之而來(lái)：到底什么才是必須記住的？

我們主張，機(jī)器人的記憶應(yīng)該是綠色且輕量的，并非所有信息都具有同等價(jià)值。如果機(jī)器人只是在廚房里導(dǎo)航到儲(chǔ)藏室，它可能只需要記住空間幾何；但如果任務(wù)是做飯，它就必須精確記住旋鈕和灶臺(tái)的位置。

為了應(yīng)對(duì)這一根本挑戰(zhàn)，我們推出了首個(gè)構(gòu)建任務(wù)驅(qū)動(dòng)型3D場(chǎng)景圖的方法，稱(chēng)之為Clio。不同于傳統(tǒng)建圖，Clio在輸入傳感器數(shù)據(jù)的同時(shí)，還會(huì)接收一份用自然語(yǔ)言指定的任務(wù)列表。系統(tǒng)利用Segment Anything等模型鎖定目標(biāo)物體，并借助信息論中的“信息瓶頸”工具進(jìn)行聚類(lèi)與表征設(shè)計(jì)，確保每一個(gè)聚類(lèi)既具備足夠的信息量，又與當(dāng)前的具體任務(wù)高度對(duì)齊。

該系統(tǒng)在移動(dòng)操作任務(wù)中表現(xiàn)優(yōu)異。數(shù)據(jù)顯示，通過(guò)感知任務(wù)需求，系統(tǒng)能更高效地過(guò)濾無(wú)關(guān)干擾。如表格所示，Clio存儲(chǔ)的物體數(shù)量遠(yuǎn)少于其他方法，但由于注意力集中在核心要素上，其任務(wù)成功率和召回精度反而實(shí)現(xiàn)了顯著提升。這一結(jié)論在隨后的拾取與放置任務(wù)中也得到了驗(yàn)證。

上周我們剛發(fā)布了一項(xiàng)名為Found-IT的后續(xù)工作。簡(jiǎn)單來(lái)說(shuō)，它是DAAAM的升級(jí)版。我們改用基礎(chǔ)模型來(lái)直接構(gòu)建場(chǎng)景圖，使其能夠直接在標(biāo)準(zhǔn)的機(jī)器人操作視頻上運(yùn)行。

更重要的是，它不再需要預(yù)先指定任務(wù)列表，而是支持在運(yùn)行時(shí)動(dòng)態(tài)調(diào)整任務(wù)。你可以把它想象成一種自適應(yīng)建圖機(jī)制，隨著機(jī)器人的運(yùn)行，在正確的時(shí)間以正確的方式按需繪制地圖。

總結(jié)而言，空間AI正在經(jīng)歷從傳統(tǒng)地圖向任務(wù)驅(qū)動(dòng)型全局記憶的演進(jìn)。當(dāng)然，諸如長(zhǎng)短期記憶的銜接、遺忘機(jī)制以及神經(jīng)科學(xué)中的其他記憶形態(tài)，還有諸多課題值得深入。除了空間理解，我們實(shí)驗(yàn)室目前在自動(dòng)駕駛感知、人體與物體條件預(yù)測(cè)，以及視覺(jué)語(yǔ)言模型（VLM）的不確定性量化方面也取得了不錯(cuò)的進(jìn)展。最后，如果大家想了解該研究領(lǐng)域的全景，推薦閱讀我們近期與多位頂尖學(xué)者合作編寫(xiě)的《SLAM手冊(cè)》，其中涵蓋了認(rèn)證感知、空間理解等諸多核心主題。

 

Q&A 問(wèn)答環(huán)節(jié)

Q： 我想請(qǐng)教一個(gè)關(guān)于語(yǔ)義不確定性的問(wèn)題。你如何構(gòu)建能夠?qū)φZ(yǔ)義不確定性進(jìn)行魯棒推理的系統(tǒng)？而且同一種事物可以用語(yǔ)言以許多不同方式描述，機(jī)器人是否會(huì)被不一致的語(yǔ)言反饋所迷惑？

Luca Carlone： 這確實(shí)是大家都非常關(guān)注的核心痛點(diǎn)。在不確定性量化方面，我們的研究表明，系統(tǒng)必須同時(shí)捕獲兩個(gè)不確定性來(lái)源：一個(gè)是認(rèn)知不確定性，另一個(gè)是源于模型自身內(nèi)在局限的系統(tǒng)性概念不確定性。雖然我們?cè)跀?shù)據(jù)集上證實(shí)了這種量化方法的可行性，但你提到的挑戰(zhàn)其實(shí)更為深遠(yuǎn)。

很多人可能關(guān)注到了近期關(guān)于Mirage（海市蜃樓幻覺(jué)）現(xiàn)象的研究，這是一項(xiàng)針對(duì)50個(gè)VLM基準(zhǔn)測(cè)試展開(kāi)的非常出色的工作。他們發(fā)現(xiàn)，即使不提供任何圖像，只向模型提問(wèn)，VLM依然能夠煞有介事地給出“答案”。這表明我們對(duì)這些基礎(chǔ)模型的底層機(jī)理依然知之甚少。因此，在安全至上的機(jī)器人應(yīng)用中，語(yǔ)義不確定性量化絕對(duì)是一個(gè)至關(guān)重要的課題。

Q： 我對(duì)情景記憶以及CLIP嵌入的應(yīng)用很感興趣。存儲(chǔ)視頻是一個(gè)非常直觀且有趣的方案，但它的成本不會(huì)太高嗎？為什么我們必須存儲(chǔ)實(shí)際的視頻，而不是某種更扁平化、更低維的表征？

Luca Carlone： 非常深刻的問(wèn)題。對(duì)此我可以從兩方面來(lái)解答。

首先，沿著機(jī)器人的行進(jìn)軌跡存儲(chǔ)圖像或視頻并不是一個(gè)新概念。在實(shí)際應(yīng)用中，為了實(shí)現(xiàn)視覺(jué)定位等功能，機(jī)器人本來(lái)就需要保留大量的沿途軌跡信息。我們的框架并不是額外增加了存儲(chǔ)負(fù)擔(dān)，而是提供了一種更聰明、更有選擇性的機(jī)制，來(lái)決定到底該保留哪些幀。

其次，在我提到的“短視頻”機(jī)制中，系統(tǒng)實(shí)際上每次只精簡(jiǎn)存儲(chǔ)大約5個(gè)關(guān)鍵幀，因此整體存儲(chǔ)量與常規(guī)方法相比并沒(méi)有顯著增加。在我們的實(shí)驗(yàn)框架下，情景記憶在2到3分鐘的運(yùn)行周期內(nèi)通常只會(huì)觸發(fā)2到3次。所以從存儲(chǔ)開(kāi)銷(xiāo)來(lái)看，它并沒(méi)有想象中那么夸張。

當(dāng)然，在面對(duì)極長(zhǎng)序列的實(shí)驗(yàn)時(shí)，確實(shí)需要非常小心。我們的終極目標(biāo)并不是去存儲(chǔ)完整的“夢(mèng)境”，而是希望提取出更具壓縮性的表征來(lái)“分析夢(mèng)境”，從而實(shí)現(xiàn)更高的效率。雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。