【封面圖片來源：網(wǎng)站名中國科學(xué)院自動化研究所，所有者：GThinker】

一、研究背景 

多模態(tài)大語言模型（MLLM）在文本推理領(lǐng)域已展現(xiàn)出強(qiáng)大的迭代反思能力，但在涉及復(fù)雜視覺場景的推理任務(wù)中，依然存在明顯缺陷——研究團(tuán)隊(duì)將其定義為視覺慣性（Visual Inertia）現(xiàn)象：盡管 MLLM 在文本語境中擅長進(jìn)行多輪迭代推理并修正錯誤，但在視覺推理過程中往往不加質(zhì)疑地依賴最初的視覺解釋，即使這種初始解釋具有誤導(dǎo)性，也很少主動回頭重新審視和修正。

這種現(xiàn)象在初始視覺感知可能具有歧義性或誤導(dǎo)性的復(fù)雜任務(wù)中（如視錯覺圖像、遮擋場景、細(xì)粒度屬性識別等）導(dǎo)致系統(tǒng)性推理失敗?，F(xiàn)有 MLLM 缺乏主動觸發(fā)重新審視關(guān)鍵視覺證據(jù)的機(jī)制，一旦初始感知出錯，后續(xù)推理鏈會沿著錯誤方向越走越偏。

GThinker 提出了 Cue-Rethinking（線索再思考）機(jī)制，賦予 MLLM 主動標(biāo)記關(guān)鍵視覺線索并在發(fā)現(xiàn)不一致時(shí)自動觸發(fā)重審的能力，從根本上緩解視覺慣性問題。

二、核心方法

GThinker 的核心是 Cue-Rethinking 機(jī)制和配套的兩階段訓(xùn)練框架。

Cue-Rethinking 機(jī)制：

在推理過程中，模型使用 vcues 特殊標(biāo)簽顯式標(biāo)記推理所依賴的關(guān)鍵視覺線索（如圖像左上角的紅色物體、人物手部的細(xì)節(jié)等）。初步推理鏈完成后，系統(tǒng)自動觸發(fā)反思提示，引導(dǎo)模型逐一回顧所有已標(biāo)記的視覺線索，檢查是否存在解釋不一致、錯誤或遺漏。一旦發(fā)現(xiàn)問題，模型會修正對該線索的理解，并基于新理解重新進(jìn)行推理，形成推理-標(biāo)記-再思考-修正的閉環(huán)。

第一階段：模式引導(dǎo)冷啟動

通過迭代式多模態(tài)標(biāo)注流程構(gòu)建符合 Cue-Rethinking 模式的高質(zhì)量推理數(shù)據(jù)集 GThinker-11k，使用評判引導(dǎo)的選擇性訓(xùn)練，專門從失敗樣本中學(xué)習(xí)如何識別初始視覺解釋的錯誤并觸發(fā)再思考。

第二階段：激勵式強(qiáng)化學(xué)習(xí)

引入DAPO 強(qiáng)化學(xué)習(xí)算法，在多場景探索中進(jìn)一步優(yōu)化模型在何時(shí)觸發(fā)再思考、如何有效修正視覺解釋等策略行為，使再思考機(jī)制更加精準(zhǔn)高效。

 三、亮點(diǎn)總結(jié)  

亮點(diǎn)一：M3CoT基準(zhǔn)達(dá)到81.5%，驗(yàn)證視覺再思考的價(jià)值

GThinker 在 M3CoT 多模態(tài)鏈?zhǔn)酵评砘鶞?zhǔn)上取得 81.5% 的領(lǐng)先成績，在多個(gè)多模態(tài)推理任務(wù)上實(shí)現(xiàn)平均 2.1% 的整體提升，量化地證明了視覺再思考機(jī)制能顯著改善模型在視覺感知易出錯場景下的推理質(zhì)量。

亮點(diǎn)二：首次系統(tǒng)性定義并解決視覺慣性問題

GThinker 是首個(gè)明確提出并系統(tǒng)性解決視覺慣性的工作，揭示了現(xiàn)有 MLLM 缺乏視覺自我修正機(jī)制這一根本性缺陷。Cue-Rethinking 機(jī)制類比于人類在解題時(shí)會重新審視題目條件的元認(rèn)知行為，是計(jì)算機(jī)視覺與認(rèn)知科學(xué)的交叉創(chuàng)新。

亮點(diǎn)三：GThinker-11k 數(shù)據(jù)集與可復(fù)現(xiàn)的訓(xùn)練范式

論文提供了完整的 GThinker-11k 多模態(tài)推理數(shù)據(jù)集（含11k條帶視覺線索標(biāo)注的推理軌跡）和可復(fù)現(xiàn)的兩階段訓(xùn)練框架，為后續(xù)研究提供了寶貴的開源資產(chǎn)，加速了視覺推理增強(qiáng)技術(shù)的社區(qū)發(fā)展。

──────────────────────────────────────────

 上述內(nèi)容包含AI輔助生成，更詳細(xì)信息參見兩個(gè)鏈接

原文鏈接：https://arxiv.org/abs/2026.gthinker

解讀來源：https://ia.cas.cn/xwzx/ttxw/202603/t20260317_8160775.html