論文簡介：手術(shù)場景理解對于機(jī)器人輔助手術(shù)中的手術(shù)培訓(xùn)和機(jī)器人決策至關(guān)重要。多模態(tài)大語言模型（MLLMs）的最新進(jìn)展在提升醫(yī)療領(lǐng)域場景感知方面展現(xiàn)了巨大潛力，能夠輔助外科醫(yī)生理解手術(shù)場景與流程。然而，現(xiàn)有方法主要面向圖像分析或全局視頻理解，忽視了細(xì)粒度視頻推理，而這對于分析特定過程及捕獲手術(shù)流程中詳細(xì)的任務(wù)執(zhí)行細(xì)節(jié)至關(guān)重要。為了彌補(bǔ)這一空白，我們提出了 SurgVidLM，這是首個旨在解決手術(shù)視頻全過程及細(xì)粒度理解的視頻語言模型。為了訓(xùn)練 SurgVidLM，我們構(gòu)建了 SVU-31K 數(shù)據(jù)庫，這是一個包含超過 3.1 萬個“視頻-指令”對的大規(guī)模數(shù)據(jù)集，支持對手術(shù)流程進(jìn)行整體理解與詳細(xì)分析。在此基礎(chǔ)上，SurgVidLM 引入了一種兩階段的 StageFocus（階段聚焦）機(jī)制：第一階段提取全局流程上下文，第二階段則在時間線索的引導(dǎo)下進(jìn)行高頻局部分析。此外，我們還開發(fā)了多頻融合注意力機(jī)制（Multi-frequency Fusion Attention），以有效整合低頻和高頻視覺標(biāo)號（Tokens），確保保留關(guān)鍵的任務(wù)特定細(xì)節(jié)。實驗結(jié)果表明，在全過程和細(xì)粒度視頻理解任務(wù)中，SurgVidLM 的表現(xiàn)顯著優(yōu)于同等參數(shù)規(guī)模的最先進(jìn)（SOTA）視頻大語言模型，展現(xiàn)了其捕獲復(fù)雜機(jī)器人輔助手術(shù)語境的卓越能力。

主要貢獻(xiàn)：

• 本文提出了首個專門針對機(jī)器人輔助手術(shù)設(shè)計的模型 SurgVidLM。該模型支持從宏觀的整段視頻理解到微觀的細(xì)粒度視覺推理，實現(xiàn)了多粒度的手術(shù)場景分析。

•  我們通過一種創(chuàng)新的Knowledge Augmentation Pipeline構(gòu)建了大規(guī)模數(shù)據(jù)集 SVU-31K。該數(shù)據(jù)集涵蓋了全過程視頻與細(xì)粒度視頻理解的任務(wù)標(biāo)注，使模型能夠具備結(jié)構(gòu)化且感知上下文的手術(shù)視頻理解能力。

• SurgVidLM 引入了 StageFocus 機(jī)制，實現(xiàn)了從全局到局部的循序漸進(jìn)理解。同時，通過集成多頻融合注意力機(jī)制（Multi-frequency Fusion Attention），促進(jìn)了低頻與高頻視覺標(biāo)號（Tokens）之間的交互，從而完整保留了環(huán)境上下文與任務(wù)細(xì)節(jié)信息。

• 在 SVU-31K 數(shù)據(jù)集上進(jìn)行的廣泛實驗與消融研究表明，在同等參數(shù)規(guī)模下，SurgVidLM 在多粒度手術(shù)視頻理解任務(wù)中的表現(xiàn)優(yōu)于當(dāng)前最先進(jìn)的（SOTA）視頻大語言模型。實驗結(jié)果凸顯了其在機(jī)器人輔助手術(shù)場景理解中的應(yīng)用潛力。