原文作者：公眾號“深藍具身智能”

原文鏈接：https://mp.weixin.qq.com/s/yGE3tLQywqf4wvsOlj6WxA

同時支持雙臂協(xié)同、雙靈巧手高自由度精細操作

——端到端VLA模型

過往主流VLA系統(tǒng)，要么聚焦雙臂低自由度夾爪控制，要么專攻單臂高自由度靈巧手操作，始終無法兼顧雙臂協(xié)同與精細手指動作的雙重需求。

比如活塞插入需雙臂精準配合，擰瓶蓋、精細取物則依賴多指靈活調(diào)控，這類任務長期缺乏統(tǒng)一的VLA解決方案。

近日，首個原生面向雙臂雙高自由度（36自由度）靈巧操作的開源VLA模型：Dexora，打破此前VLA的形態(tài)壁壘，為通用靈巧機器人的落地提供了全新范式。

硬件與遙操作：虛實協(xié)同的靈巧數(shù)據(jù)底座

高自由度靈巧操作的核心前提，是精準、可規(guī)?；臄?shù)據(jù)采集。

Dexora摒棄單一遙操作方案，打造“外骨骼+VR”混合遙操作系統(tǒng)，同時驅(qū)動物理機器人與MuJoCo數(shù)字孿生，從根源解決數(shù)據(jù)采集的精度與規(guī)模難題。

▲Dex 硬件與混合遙操作系統(tǒng)示意圖?【深藍具身智能】編譯

• 硬件層面，Dexora搭載兩臺6自由度AIRBOT機械臂與一對12自由度XHAND靈巧手，單只手12個關節(jié)獨立驅(qū)動，拇指與食指支持側(cè)擺動作。

可實現(xiàn)扭轉(zhuǎn)、捏取等類人精細操作，整套系統(tǒng)總計36自由度，為復雜雙手協(xié)同任務提供硬件基礎。

• 遙操作設計上，采用“大動作+小動作”分離策略：

定制外骨骼背包捕捉機械臂整體運動（無漂移、低延遲），Apple Vision Pro實現(xiàn)無標記手指追蹤，兼顧手臂大范圍移動的穩(wěn)定性與手指精細動作的靈活性。

▲仿真 / 真實數(shù)據(jù)集物體與任務分布示意圖?【深藍具身智能】編譯

更關鍵的是虛實同步設計：

遙操作指令同時下發(fā)物理機器人與數(shù)字孿生，兩者傳感器數(shù)據(jù)（4路RGB、36自由度關節(jié)狀態(tài)）20Hz同步記錄。

既保障真實場景數(shù)據(jù)的真實性，又能在仿真中低成本擴展任務場景，形成“真實+仿真”互補的數(shù)據(jù)集。

最終構建的數(shù)據(jù)集包含10萬條仿真軌跡（650萬幀）、1萬條真實遙操作軌跡（292萬幀），覆蓋30類仿真物體、17類真實物體，兼顧基礎抓取與精細靈巧任務。

模型架構：擴散Transformer+質(zhì)量判別器雙核心

Dexora基于數(shù)據(jù)質(zhì)量感知的端到端VLA架構，通過擴散Transformer生成動作，搭配離線質(zhì)量判別器過濾噪聲數(shù)據(jù)，解決遙操作數(shù)據(jù)質(zhì)量參差不齊、高維動作訓練不穩(wěn)定的行業(yè)痛點。

▲Dexora 整體總覽圖（動機 / 數(shù)據(jù) / 架構 / 性能 / 泛化）?【深藍具身智能】編譯

擴散Transformer策略網(wǎng)絡

采用解碼器-only擴散Transformer作為策略核心，輸入多視角RGB圖像、語言指令與當前關節(jié)狀態(tài)，輸出36自由度連續(xù)動作序列。

模型采用T5編碼語言指令、SigLip編碼圖像特征，交替注入Transformer塊，通過去噪預測生成動作，兼顧多模態(tài)融合能力與高維動作建模精度。

數(shù)據(jù)質(zhì)量判別器

遙操作數(shù)據(jù)常因操作誤差、傳感器噪聲存在低質(zhì)量軌跡，直接訓練會拉低模型性能。

Dexora設計離線判別器，通過“運動平滑度+任務成功率”雙重標準篩選數(shù)據(jù)：

• 預篩選：計算軌跡加速度、抖動值，保留運動平穩(wěn)的樣本；

• 后驗證：重放軌跡，保留無碰撞、任務成功的樣本。

判別器以凍結的預訓練策略為基準，預測軌跡質(zhì)量得分（0-1），訓練時將得分轉(zhuǎn)化為權重，高質(zhì)量軌跡權重高、低質(zhì)量軌跡權重低，公式簡化為：

其中  為質(zhì)量權重， 為預測噪聲， 為真實噪聲。這種設計讓模型聚焦有效數(shù)據(jù)，大幅提升高維靈巧動作的訓練穩(wěn)定性。

訓練流程：三階段漸進式優(yōu)化

Dexora采用“仿真預訓練+判別器訓練+真實微調(diào)”三階段訓練，平衡基礎能力與靈巧技能，實現(xiàn)從仿真到真實的平滑遷移。

▲Dex 數(shù)據(jù)過濾、判別器訓練、質(zhì)量感知訓練框架圖?【深藍具身智能】編譯

第一階段，10萬仿真軌跡預訓練，讓模型掌握抓取、組裝等基礎操作，形成初始動作生成能力；

第二階段，用篩選后的高質(zhì)量真實數(shù)據(jù)訓練判別器，使其精準識別軌跡優(yōu)劣；

第三階段，用全部真實數(shù)據(jù)微調(diào)策略，通過質(zhì)量權重引導，讓模型從基礎能力進階到擰瓶蓋、精細取物等靈巧技能。

性能與泛化

實驗結果顯示，Dexora在基礎任務、靈巧任務、跨形態(tài)泛化三大維度均實現(xiàn)突破，驗證了雙臂雙高自由度設計與質(zhì)量感知訓練的有效性。

▲基礎任務示例圖?【深藍具身智能】編譯

▲基礎任務成功率對比表?【深藍具身智能】編譯

• 基礎任務（抓取、組裝、關節(jié)操作）：

平均成功率達89.6%，12項任務中7項成功率超90%，雙臂協(xié)同任務（如雙手遞物、嵌套碗分離）優(yōu)勢顯著，遠超GR00T N1（82.1%）、π0（50.4%）等基線。

▲靈巧任務示例圖?【深藍具身智能】編譯

▲靈巧任務成功率對比表?【深藍具身智能】編譯

• 靈巧任務（擰瓶蓋、用鋼筆、切韭菜等）：

平均成功率66.7%，較最優(yōu)基線GR00T N1（51.7%）提升15個百分點，尤其在擰瓶蓋、精細面團操作等需要雙手配合+多指調(diào)控的任務中，基線幾乎失效，Dexora仍能穩(wěn)定完成。

▲分布外泛化性能圖?【深藍具身智能】編譯

• 泛化能力：

一是分布外泛化，在未知背景、光照、物體、遮擋等場景下，成功率僅小幅下降，魯棒性強；

二是跨形態(tài)遷移，36自由度模型可直接適配單臂夾爪、雙臂夾爪、單臂低自由度手，無需重新訓練，僅需適配動作維度，打破VLA的形態(tài)依賴。

▲基礎任務成功率對比表?【深藍具身智能】編譯

消融實驗證，質(zhì)量判別器可降低動作抖動，提升任務穩(wěn)定性，證明“真實數(shù)據(jù)+質(zhì)量感知”是靈巧VLA的核心要素。

▲質(zhì)量判別器效果對比軌跡圖?【深藍具身智能】編譯

靈巧VLA：價值與局限并存

Dexora是首個原生雙臂雙高自由度VLA，證明高自由度模型可向下兼容低自由度設備，為通用機器人提供“高維訓練、低維部署”新思路。

虛實協(xié)同采集+質(zhì)量感知訓練，解決靈巧數(shù)據(jù)稀缺、噪聲大的難題，為高維VLA數(shù)據(jù)建設提供參考。

▲Dexora 與主流 VLA 的形態(tài)覆蓋對比圖?【深藍具身智能】編譯

同時，存在的局限在于：

硬件依賴：36自由度系統(tǒng)成本高，難以快速普及，且無觸覺反饋，擰瓶蓋等接觸敏感任務成功率仍低。

任務局限：復雜長時序任務（如多步驟裝配）、動態(tài)環(huán)境適應能力不足。

泛化邊界：跨材質(zhì)、極端場景的穩(wěn)定性有待提升。

過往VLA要么“能雙手不精細”，要么“能精細不雙手”。

Dexora首次將兩者統(tǒng)一，用開源模式降低門檻，為服務機器人、工業(yè)靈巧操作等場景提供可行方案。

未來，若能融合觸覺反饋、強化長時序推理，Dexora有望進一步縮小與人類操作的差距，推動通用靈巧機器人從實驗室走向?qū)嶋H應用。

Ref

論文標題：Dexora: Open-source VLA for High-DoF Bimanual Dexterity

論文作者：Zongzheng Zhang, Jingrui Pang, Zhuo Yang, Kun Li, Minwen Liao, Saining Zhang, Guoxuan Chi, Jinbang Guo, Huan-ang Gao, Modi Shi, Dongyun Ge, Yao Mu, Jiayuan Gu, Rui Chen, Hao Dong, Huazhe Xu, Li Yi, Yixin Zhu, Hang Zhao, Pengwei Wang, Shanghang Zhang, Guocai Yao, Jianyu Chen, Hongyang Li, Hao Zhao

論文鏈接：https://arxiv.org/pdf/2605.18722

項目鏈接：https://dexoravla.github.io/

雷峰網(wǎng)(公眾號：雷峰網(wǎng))