0
| 本文作者： 吳思夢 | 2026-05-28 17:51 | 專題：ICRA 國際機器人與自動化會議 |
原文作者：深藍(lán)學(xué)院
原文鏈接：https://zhuanlan.zhihu.com/p/2020641171664282025
變形物體的機器人操作是機器人學(xué)領(lǐng)域的核心挑戰(zhàn)，這類物體的動力學(xué)特性隨形態(tài)動態(tài)變化且無法提前完全觀測，傳統(tǒng)方法難以實現(xiàn)跨類別、跨實例的實時適配。
李飛飛團(tuán)隊聯(lián)合德克薩斯大學(xué)奧斯汀分校在ICRA2026上提出的 RAPID（Rapid Adaptation of Particle Dynamics） 方法，將快速運動適配框架從剛體操作擴(kuò)展至變形物體領(lǐng)域，通過粒子位置捕捉物體形態(tài)變化，設(shè)計雙階段訓(xùn)練策略實現(xiàn)仿真到真實世界的零樣本遷移。
在22自由度移動機械臂的1D插入、2D覆蓋任務(wù)中，對未見動力學(xué)、類別和實例的變形物體保持80%以上成功率。
這一研究工作為變形物體移動操作提供了新路徑，但局限也清晰：仍依賴仿真訓(xùn)練，且對形變極劇烈的特殊材質(zhì)（如高彈性織物）是否同樣有效，有待進(jìn)一步驗證。
機器人操作變形物體需精準(zhǔn)感知并實時適配其動力學(xué)特性，但傳統(tǒng)方法面臨三重核心壁壘：
一是變形物體動力學(xué)兼具剛體屬性（質(zhì)量、位置）和形態(tài)變化特性（拉伸、彎曲等），無法通過先驗信息獲取且動態(tài)變化；
二是經(jīng)典RMA框架僅考慮剛體物理參數(shù)，未納入形態(tài)變化維度，無法直接遷移至變形物體操作；
三是現(xiàn)有sim2real方法存在明顯缺陷，模型基方法依賴完全觀測無法應(yīng)對遮擋，系統(tǒng)辨識方法需大量真實軌跡難以實時適配，基于真實世界數(shù)據(jù)的方法則泛化性差、數(shù)據(jù)集規(guī)模受限。
同時，傳統(tǒng)機器人方法缺乏人類操作時的實時在線適配能力，要么將變形物體當(dāng)作剛體處理，要么需針對特定物體提前大量訓(xùn)練，難以滿足真實場景的多樣化需求。
關(guān)鍵突破：粒子位置錨定形態(tài)變化，擴(kuò)展RMA至變形物體領(lǐng)域
RAPID的核心創(chuàng)新在于提出“粒子位置捕捉形態(tài)變化” ：
仿真中變形物體的近期真實粒子位置，可有效表征其形態(tài)變化規(guī)律，這一發(fā)現(xiàn)讓RMA框架向變形物體操作的擴(kuò)展成為可能。
▲圖 | RAPID 方法整體框架：從仿真學(xué)習(xí)到真實世界部署的變形物體移動操作流程?【深藍(lán)具身智能】編譯
相較于傳統(tǒng)方法，RAPID實現(xiàn)了三個核心維度的突破：
動力學(xué)表征的完整性：
首次將形態(tài)變化納入變形物體的動力學(xué)嵌入表征。融合剛體的質(zhì)量、位置參數(shù)和粒子位置反映的形態(tài)變化信息，構(gòu)建了更貼合變形物體特性的動力學(xué)描述體系，彌補了傳統(tǒng)表征僅關(guān)注剛體屬性的缺陷；
無特權(quán)信息的實時推斷：
通過雙階段訓(xùn)練設(shè)計，將仿真中依賴的粒子位置、真實物理參數(shù)等“特權(quán)信息”，轉(zhuǎn)化為僅通過機器人視覺觀測（深度圖像）和動作序列即可推斷的嵌入特征，徹底擺脫了對仿真專屬信息的依賴，實現(xiàn)了真實場景的信息適配；
端到端的仿真到真實遷移：
全程基于機器人機載視覺傳感器和關(guān)節(jié)角度信息完成訓(xùn)練，無需任何真實世界數(shù)據(jù)微調(diào)，直接實現(xiàn)零樣本跨域遷移，同時有效解決了操作過程中的物體遮擋、非俯視視角等真實場景常見問題。
與現(xiàn)有sim2real方法相比，RAPID無需依賴物體分割掩碼、稠密描述符等中間表征，直接通過視覺觀測和動作序列完成動力學(xué)推斷與動作規(guī)劃，大幅提升了方法在真實場景中的魯棒性和實時性。
技術(shù)架構(gòu)：雙階段訓(xùn)練+在線適配，實現(xiàn)變形物體操作的端到端閉環(huán)
▲圖 | RAPID 方法詳細(xì)流程：仿真雙階段訓(xùn)練與真實世界部署?【深藍(lán)具身智能】編譯
RAPID整體采用雙階段仿真訓(xùn)練+真實世界在線部署的架構(gòu)，融合強化學(xué)習(xí)與嵌入特征回歸——
既利用仿真特權(quán)信息完成基礎(chǔ)策略訓(xùn)練，又通過適配模塊實現(xiàn)真實世界的信息映射。
核心是構(gòu)建形狀嵌入和動力學(xué)嵌入兩大特征，并完成從特權(quán)信息到視覺信息的推斷遷移。
整個技術(shù)流程清晰分為訓(xùn)練Phase I、訓(xùn)練Phase II和真實世界部署三個核心環(huán)節(jié)，各環(huán)節(jié)銜接形成端到端的操作閉環(huán)。
在OmniGibson仿真環(huán)境中，利用變形物體的真實粒子位置、質(zhì)量、位置等特權(quán)信息，完成視覺運動策略和兩個核心編碼器的端到端訓(xùn)練，為后續(xù)真實世界的適配奠定基礎(chǔ)：
▲圖 | 仿真階段 I：基于特權(quán)信息訓(xùn)練編碼器與視覺運動策略?【深藍(lán)具身智能】編譯
形狀編碼器 ()：
以變形物體的近期真實粒子位置和機器人動作作為輸入，編碼生成形狀嵌入()，該特征專門表征物體的形態(tài)變化規(guī)律，是適配變形物體獨有的核心特征；
動力學(xué)編碼器 ()：
以物體的質(zhì)量、位置等剛體物理參數(shù)為輸入，編碼生成動力學(xué)嵌入 ()，表征剛體層面的基礎(chǔ)動力學(xué)特性；
視覺運動策略：
將機器人單幀深度圖像 ()、形狀嵌入和動力學(xué)嵌入作為聯(lián)合輸入，輸出 22 自由度機械臂的全維度動作指令，通過強化學(xué)習(xí)完成端到端訓(xùn)練，實現(xiàn)仿真環(huán)境中變形物體操作的最優(yōu)動作規(guī)劃。
該階段的核心設(shè)計是將形態(tài)變化和剛體動力學(xué)信息解耦編碼——
既讓視覺運動策略的學(xué)習(xí)更具針對性，也為后續(xù)適配模塊的訓(xùn)練提供了明確、可監(jiān)督的目標(biāo)特征。
為讓方法適配無任何特權(quán)信息的真實世界，本階段用兩個專用適配模塊替代Phase I的編碼器。
核心通過L1損失回歸，實現(xiàn)從機器人視覺觀測+動作序列到形狀/動力學(xué)嵌入的精準(zhǔn)推斷，徹底擺脫對仿真特權(quán)信息的依賴：
▲圖 | 仿真階段 II：訓(xùn)練適配模塊，擺脫對特權(quán)信息的依賴?【深藍(lán)具身智能】編譯
形狀適配模塊 ()：
以機器人近期深度圖像、關(guān)節(jié)角度和動作序列為輸入，替代形狀編碼器生成推斷形狀嵌入 ()，并以 Phase I 生成的真實形狀嵌入為監(jiān)督，通過 L1 損失讓推斷嵌入無限逼近真實值；
動力學(xué)適配模塊 ()：
輸入與形狀適配模塊完全相同的視覺和動作信息，替代動力學(xué)編碼器生成推斷動力學(xué)嵌入 ()，同樣以真實動力學(xué)嵌入為監(jiān)督完成 L1 損失回歸；
策略輕量微調(diào)：
用兩個適配模塊生成的推斷嵌入，替換Phase I中的真實嵌入，對視覺運動策略進(jìn)行輕量強化學(xué)習(xí)微調(diào)；同時為避免兩個適配模塊編碼冗余信息，阻斷動力學(xué)適配模塊到形狀適配模塊的上游梯度，確保二者在相同輸入下，分別捕捉形態(tài)變化和剛體動力學(xué)的獨立特征。
本階段完成后，Phase I的形狀編碼器和動力學(xué)編碼器將被舍棄，最終訓(xùn)練得到的模型僅包含視覺運動策略和兩個適配模塊，完全滿足真實世界的無特權(quán)信息使用要求。
在真實世界部署時，RAPID無需任何額外微調(diào)，直接加載仿真訓(xùn)練得到的視覺運動策略和適配模塊，實現(xiàn)完全自主的在線閉環(huán)操作。
▲ 圖| 真實世界部署階段：加載適配模塊與策略，實現(xiàn)在線閉環(huán)操作?【深藍(lán)具身智能】編譯
核心執(zhí)行流程為：
多維度信息采集：
機器人通過機載RGBD相機獲取224×224分辨率的深度圖像（采集頻率3Hz），同時實時采集自身關(guān)節(jié)角度數(shù)據(jù)，構(gòu)建包含最近10組“深度圖像-觀測-動作”的滑動數(shù)據(jù)窗口；
嵌入特征實時推斷：
將滑動窗口的多維度數(shù)據(jù)同步輸入形狀和動力學(xué)適配模塊，實時生成推斷形狀嵌入和推斷動力學(xué)嵌入，完成對變形物體當(dāng)前動力學(xué)特性的精準(zhǔn)感知；
全自由度動作規(guī)劃：
視覺運動策略以當(dāng)前深度圖像、關(guān)節(jié)角度和兩個推斷嵌入為聯(lián)合輸入，輸出機械臂的全自由度動作指令，指導(dǎo)機器人完成與變形物體的交互操作；
周期性嵌入特征更新：
為保證視覺運動策略的時間行為一致性，避免視覺噪聲導(dǎo)致的動作抖動，嵌入特征并非逐幀更新，而是每5個時間步更新一次，平衡實時性與穩(wěn)定性。
整個部署過程完全自主進(jìn)行，無需人類干預(yù)，能夠有效應(yīng)對真實場景中物體隨機擺放、光照條件變化、操作過程中物體遮擋等各類復(fù)雜問題。
實驗驗證：2類核心任務(wù)，82.5%綜合成功率超越SOTA
研究團(tuán)隊以TIAGo 22自由度雙臂移動機械臂為實驗平臺，OmniGibson為仿真訓(xùn)練環(huán)境，設(shè)計1D插入、2D覆蓋兩類典型變形物體移動操作任務(wù)。
設(shè)置主流SOTA方法為對比基線，并設(shè)計三組消融實驗，從定量和定性雙維度驗證RAPID的性能，所有真實世界實驗均使用仿真中從未出現(xiàn)的物體、環(huán)境和光照條件，模擬真實場景的未知性。
▲圖 | 一維插入和二維覆蓋任務(wù)使用的所有未見真實世界變形物體?【深藍(lán)具身智能】編譯
實驗任務(wù)：
1D插入任務(wù)要求將繩索、線纜等20類1D變形物體的一端插入杯子、碗等20類容器，300秒內(nèi)完成即為成功；
2D覆蓋任務(wù)要求將毛巾、塑料袋等20類2D變形物體覆蓋在容器開口處，300秒內(nèi)完成90%以上面積覆蓋即為成功，每個任務(wù)重復(fù)20次。
▲圖 | 兩類任務(wù)的仿真與真實世界場景：一維插入任務(wù)與二維覆蓋任務(wù)?【深藍(lán)具身智能】編譯
對比基線：
選取DMfD（基于仿真專家演示的變形物體靜態(tài)操作方法）、DDOD（基于稠密物體描述符的變形物體操作方法）為基線，由RAPID完成所有基線方法的抓取和導(dǎo)航環(huán)節(jié)，僅讓基線執(zhí)行核心操作，保證對比公平性。
消融實驗：
設(shè)計RAPID-No-Adapt（移除雙適配模塊）、RAPID-No-Shape（移除形狀適配模塊）、RAPID-E2E（跳過雙階段訓(xùn)練，直接端到端訓(xùn)練）三組消融實驗，驗證各核心模塊和訓(xùn)練策略的必要性。
RAPID在1D插入任務(wù)中成功率85%，2D覆蓋任務(wù)中80%，綜合成功率82.5%，顯著超越DMfD（10%）、DDOD（17.5%）兩類SOTA方法。
基線方法的失敗主要源于物體遮擋/變形導(dǎo)致的中間表征失效，以及對未知動力學(xué)的無適配能力。
▲圖 | RAPID 在一維插入和二維覆蓋任務(wù)中的動力學(xué)自適應(yīng)行為?【深藍(lán)具身智能】編譯
消融實驗則進(jìn)一步驗證了核心設(shè)計的必要性
▲圖 | RAPID、對比基線及消融實驗在 20 次測試中的成功次數(shù)與成功率?【深藍(lán)具身智能】編譯
此外，動力學(xué)嵌入的可視化結(jié)果顯示，其特定維度與物體柔軟度呈強相關(guān)性，且能實時跟蹤物體剛度的動態(tài)變化，證明RAPID實現(xiàn)了對變形物體動力學(xué)特性的在線精準(zhǔn)推斷。
▲圖 | RAPID 在一維插入和二維覆蓋任務(wù)中的動力學(xué)嵌入可視化及剛度動態(tài)變化跟蹤結(jié)果?【深藍(lán)具身智能】編譯
方法的優(yōu)勢與現(xiàn)實局限
泛化能力突出：首次實現(xiàn)對未見動力學(xué)、類別、實例變形物體的零樣本操作，適配從柔軟絲帶、布料到剛性線纜、錢包的全范圍物體，突破傳統(tǒng)方法“一類一訓(xùn)”的局限；
場景魯棒性高：無需物體分割、稠密描述符等中間表征，直接從視覺和動作信息推斷動力學(xué)，可應(yīng)對真實場景的遮擋、非俯視視角、光照變化等問題；
訓(xùn)練效率優(yōu)異：全程基于仿真訓(xùn)練，無需采集標(biāo)注真實世界數(shù)據(jù)，大幅降低研發(fā)成本，相比真實數(shù)據(jù)驅(qū)動方法更易規(guī)?；茝V；
實時性滿足實操：僅通過機載傳感器實現(xiàn)在線推斷，嵌入特征周期性更新的設(shè)計，兼顧實時性與動作穩(wěn)定性，滿足真實操作的時間要求。
任務(wù)復(fù)雜度有限：僅驗證了1D插入、2D覆蓋兩類單目標(biāo)基礎(chǔ)操作，尚未拓展至折疊、打結(jié)、纏繞等需要精細(xì)形態(tài)控制的復(fù)雜任務(wù)；
物體范圍有約束：實驗對象均為小型桌面變形物體，未驗證對大尺度物體（床單、地毯）和特殊變形物體（粘彈性物體、流體）的適配能力；
環(huán)境假設(shè)較理想：假設(shè)實驗環(huán)境為靜態(tài)，未考慮真實場景中的動態(tài)干擾（如物體碰撞、人為干擾），易導(dǎo)致動力學(xué)推斷和動作規(guī)劃失效；
依賴仿真粒子建模：方法核心依賴仿真中粒子位置對形態(tài)變化的表征，若粒子建模與真實物體形態(tài)變化規(guī)律偏差較大，會降低sim2real遷移性能。
RAPID的核心價值，在于首次打通了快速運動適配框架從剛體到非剛體的擴(kuò)展路徑，提出了粒子位置表征變形物體形態(tài)變化的新范式，為變形物體未知動力學(xué)適配提供了通用方法論。
盡管目前受限于任務(wù)和環(huán)境假設(shè)，但這一探索讓機器人向人類般靈活操作變形物體的目標(biāo)邁出了關(guān)鍵一步。
論文標(biāo)題：Rapid Adaptation of Particle Dynamics for Generalized Deformable Object Mobile Manipulation
論文地址：https://arxiv.org/pdf/2603.18246v1.pdf
項目地址：https://sites.google.com/view/rapid-robotics
雷峰網(wǎng)(公眾號：雷峰網(wǎng))
專題
本專題其他文章
