一、研究背景  

大型視覺(jué)語(yǔ)言模型（VLM）雖然在2D圖像理解和語(yǔ)言推理上表現(xiàn)優(yōu)異，但在3D空間推理能力上存在明顯短板——它們往往難以準(zhǔn)確理解物體的相對(duì)位置關(guān)系、深度信息及3D幾何結(jié)構(gòu)，直接制約了其在機(jī)器人、自動(dòng)駕駛等具身智能場(chǎng)景中的應(yīng)用。

現(xiàn)有多模態(tài)融合方法主要存在兩大問(wèn)題：一是淺層融合（Early Fusion）僅在模型輸入或早期階段融合視覺(jué)與語(yǔ)言，難以在高層建立細(xì)粒度的幾何-語(yǔ)義關(guān)聯(lián)；二是后期融合（Late Fusion）各模態(tài)獨(dú)立編碼，僅在輸出層匯合，無(wú)法實(shí)現(xiàn)各層級(jí)的幾何約束傳導(dǎo)。這兩種范式都難以捕獲精細(xì)3D幾何結(jié)構(gòu)與全局語(yǔ)義之間的深層關(guān)聯(lián)。

為解決上述問(wèn)題，SpatialStack研究團(tuán)隊(duì)提出了 SpatialStack 分層融合框架，通過(guò)在模型全層級(jí)同步對(duì)齊視覺(jué)特征、3D幾何特征與語(yǔ)言特征，構(gòu)建真正的幾何-語(yǔ)言統(tǒng)一理解能力，為下一代具身物理AI系統(tǒng)奠定技術(shù)基礎(chǔ)。

 二、核心方法  

SpatialStack 的核心思想是將多尺度3D幾何特征與視覺(jué)、語(yǔ)言特征在模型各層同步對(duì)齊融合，替代傳統(tǒng)的淺層或后期單點(diǎn)融合。

架構(gòu)設(shè)計(jì)：

模型包含三條編碼主干——視覺(jué)編碼器提取2D視覺(jué)特征，3D幾何編碼器提取多尺度幾何特征（包含不同粒度的點(diǎn)云/體素特征），語(yǔ)言模型主干負(fù)責(zé)語(yǔ)義表征。三條主干的特征不是在某一點(diǎn)匯合，而是通過(guò)全層級(jí)漸進(jìn)對(duì)齊模塊在每一層同步交互融合。

全層級(jí)漸進(jìn)對(duì)齊：

在語(yǔ)言模型的每一個(gè) Transformer 層，SpatialStack 引入跨模態(tài)對(duì)齊注意力機(jī)制，使當(dāng)前層的語(yǔ)言特征與對(duì)應(yīng)尺度的視覺(jué)特征、3D幾何特征進(jìn)行雙向交叉注意力計(jì)算。每一層的語(yǔ)言表征都被相應(yīng)尺度的幾何約束所引導(dǎo)，實(shí)現(xiàn)從粗粒度到細(xì)粒度的漸進(jìn)空間語(yǔ)義對(duì)齊。

多尺度同步建模：

不同層級(jí)的語(yǔ)言表征對(duì)應(yīng)不同尺度的3D幾何特征——淺層關(guān)注局部點(diǎn)級(jí)精細(xì)幾何，深層關(guān)注全局結(jié)構(gòu)級(jí)語(yǔ)義，使模型同時(shí)兼顧局部幾何精度和全局語(yǔ)義理解，避免了傳統(tǒng)方法顧此失彼的困境。

 三、亮點(diǎn)總結(jié)  

亮點(diǎn)一：3D空間推理SOTA性能

基于 SpatialStack 框架構(gòu)建的 VLM-SpatialStack 模型在多項(xiàng)3D空間推理基準(zhǔn)測(cè)試上達(dá)到當(dāng)前最優(yōu)（SOTA）性能，有效驗(yàn)證了全層級(jí)漸進(jìn)融合相對(duì)于傳統(tǒng)融合范式的顯著優(yōu)勢(shì)。

亮點(diǎn)二：開(kāi)創(chuàng)分層多模態(tài)融合新范式

SpatialStack 打破了傳統(tǒng) VLM 二維視覺(jué)加文字的框架局限，首次系統(tǒng)性地將多尺度3D幾何特征嵌入到語(yǔ)言模型的全層級(jí)表征學(xué)習(xí)中。這一范式創(chuàng)新為未來(lái)多模態(tài)物理AI系統(tǒng)的設(shè)計(jì)提供了可參考的通用藍(lán)圖。

亮點(diǎn)三：兼顧局部精度與全局語(yǔ)義

傳統(tǒng)方法往往面臨局部精確但全局混亂或全局通順但局部錯(cuò)位的兩難困境。SpatialStack 通過(guò)多尺度同步建模，使模型既能精確定位冰箱在桌子左邊15厘米處，又能理解廚房里所有物體的空間排布關(guān)系，在機(jī)器人操作和場(chǎng)景理解任務(wù)中具有極強(qiáng)的實(shí)用價(jià)值。

──────────────────────────────────────────

上述內(nèi)容包含AI輔助生成，更詳細(xì)信息參見(jiàn)兩個(gè)鏈接

原文鏈接：https://arxiv.org/abs/2026.spatialstack

解讀來(lái)源：https://blog.csdn.net/amusi1994/article/details/160000279