原文鏈接：http://www.labren.org/mm/news/?-icra-2026-???????-???????/

 

 

很高興能夠分享我們的最新成果——??????。這是一個(gè)基于幾何認(rèn)知的統(tǒng)一框架，能夠?qū)崿F(xiàn)語(yǔ)言引導(dǎo)的機(jī)器人抓取操作。

 

語(yǔ)言引導(dǎo)的抓取能力是實(shí)現(xiàn)直觀的人機(jī)交互的關(guān)鍵能力之一。機(jī)器人不僅應(yīng)該能夠識(shí)別物體，還應(yīng)該能夠理解諸如“拿起碗后面的藍(lán)色杯子”這樣的自然語(yǔ)言指令。雖然最近的一些多模態(tài)模型取得了令人滿意的效果，但大多數(shù)現(xiàn)有方法仍然依賴于多個(gè)階段的處理流程，這些流程將感知與抓取預(yù)測(cè)緊密地結(jié)合在一起。然而，這些方法往往忽略了幾何形態(tài)、語(yǔ)言信息以及視覺推理之間的緊密整合，因此在環(huán)境雜亂、遮擋嚴(yán)重或紋理低下的情況下，這些方法的性能會(huì)大打折扣。這促使我們努力彌合語(yǔ)義語(yǔ)言理解與精確幾何抓取執(zhí)行之間的差距。

讓我們來(lái)看看這個(gè)挑戰(zhàn)吧：

 

一種新的統(tǒng)一框架，用于幾何感知且語(yǔ)言引導(dǎo)的抓取操作，包括以下功能：

 

統(tǒng)一的 RGB-D 多模態(tài)表示：

我們將 RGB 顏色、深度以及語(yǔ)言特征嵌入到一個(gè)共享的表示空間中，從而實(shí)現(xiàn)跨模態(tài)的語(yǔ)義一致性，進(jìn)而實(shí)現(xiàn)精確的目標(biāo)識(shí)別。

 

深度引導(dǎo)幾何模塊（DGGM）：

我們并沒有將深度信息視為輔助輸入，而是將基于深度信息推導(dǎo)出的幾何先驗(yàn)信息直接融入注意力機(jī)制中。這樣能夠在遮擋或視覺環(huán)境不明確的情況下，更好地實(shí)現(xiàn)物體的識(shí)別與區(qū)分。

 

Adaptive Dense Channel Integration (ADCI):

一種動(dòng)態(tài)的多層融合策略，能夠結(jié)合全局語(yǔ)義線索與精細(xì)的幾何細(xì)節(jié)，從而實(shí)現(xiàn)對(duì)物體抓取的穩(wěn)健預(yù)測(cè)。

 

? 在語(yǔ)言引導(dǎo)的抓取任務(wù)中，GeoLanG 在 OCID-VLG 基準(zhǔn)測(cè)試上的表現(xiàn)顯著優(yōu)于以往的各種多階段算法。

 

? 在雜亂且遮擋嚴(yán)重的場(chǎng)景中也能表現(xiàn)出極強(qiáng)的魯棒性。

 

? 已在真實(shí)的機(jī)器人硬件上成功進(jìn)行測(cè)試驗(yàn)證，證明從模擬環(huán)境到真實(shí)環(huán)境的轉(zhuǎn)換是可靠的。

 

關(guān)鍵點(diǎn)總結(jié)：

這項(xiàng)研究表明，將幾何推理與多模態(tài)語(yǔ)言理解緊密結(jié)合起來(lái)，可以顯著提高機(jī)器人抓取系統(tǒng)的可靠性。通過(guò)將具有深度感知的幾何先驗(yàn)信息直接融入注意力機(jī)制中，我們能夠減少歧義，并提高抓取決策的一致性。

 

GeoLanG 提供了一種途徑，使得機(jī)器人系統(tǒng)能夠更加智能化。這些機(jī)器人不僅能判斷需要抓取什么物體，還能在復(fù)雜的現(xiàn)實(shí)環(huán)境中穩(wěn)健地抓取物體。

 

我們正在探索將這種幾何感知的多模態(tài)推理技術(shù)擴(kuò)展到：

 

Real-time interactive grasping

 

Multi-step manipulation tasks

 

Integration with motion planning and autonomous robotic control

 

雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))