來源：公眾號“機(jī)器之心”

原文https://mp.weixin.qq.com/s/SCk63tSurxIeuaVNxqgSkA?scene=1&click_id=30

團(tuán)隊一作林之秋（Zhiqiu Lin）是卡內(nèi)基梅隆大學(xué)（CMU）機(jī)器人研究所的博士，研究方向涵蓋視覺 - 語言大模型的評估、數(shù)據(jù)與生成；前作 CameraBench 曾獲 NeurIPS’25 Spotlight（Top 3%）。二作 Chancharik Mitra 即將前往麻省理工學(xué)院（MIT）攻讀博士，專注于多模態(tài)大模型。本工作由 CMU 與哈佛大學(xué)合作完成。

先來做一個小實驗：把希區(qū)柯克變焦（dolly zoom）、拉焦（rack focus）、荷蘭角（Dutch angle）或變速剪輯（speed ramp）這幾個詞，輸入到大部分主流視頻生成器里。結(jié)果幾乎都一樣，你只會得到一個普通的推鏡，或一段平庸的慢動作。

原因很簡單：這些技法對應(yīng)著電影人之間通用的一套「鏡頭語言」，而當(dāng)前的視覺 - 語言大模型幾乎聽不懂。

近日，由 CMU 聯(lián)合哈佛大學(xué)組成的研究團(tuán)隊推出了 CHAI（Critique-based Human-AI Oversight），一整套從「標(biāo)注體系」「可擴(kuò)展監(jiān)督」到「后訓(xùn)練方法」再到「視頻生成」的完整方案。該工作已被 CVPR 2026 接收為 Highlight 論文（Top 3%）。

• ? 論文鏈接：https://arxiv.org/abs/2604.21718

• ? 代碼：https://github.com/chancharikmitra/CHAI

圖 1：CHAI 的整體方案。上半（紅）是過往視頻字幕工作的三大短板：缺乏統(tǒng)一規(guī)范、僅用人類或模型標(biāo)注、僅憑輸出對比做后訓(xùn)練；下半（藍(lán)）是 CHAI 的對應(yīng)方案：精準(zhǔn)的結(jié)構(gòu)化規(guī)范、可擴(kuò)展的人機(jī)監(jiān)督、基于顯式偏好與批改的后訓(xùn)練，最終反哺出更專業(yè)的視頻生成。

概述：CHAI 的四塊拼圖

CHAI 不是一個單獨的模型，而是一整套面向精準(zhǔn)視頻語言的落地方案，由四塊拼圖組成：

1. 標(biāo)注體系（Specification）：覆蓋主體、場景、動作、空間構(gòu)圖和移動、鏡頭參數(shù)和運動 5 大維度，由 200+ 個與職業(yè)攝影師共同設(shè)計的視覺基元支撐。

2. 可擴(kuò)展監(jiān)督（Scalable Oversight）：讓 LLM 起草字幕，由人類專家給出批改（critique），指出錯誤并提供修正，再交由 AI 改寫。這一過程讓 AI 負(fù)責(zé)寫作，人類專注糾錯，各司其長。

3. 后訓(xùn)練方法（Post-Training）：基于（初稿，批改，終稿），同時訓(xùn)練字幕、獎勵模型與批改模型。團(tuán)隊訓(xùn)練的 Qwen3-VL-8B 開源小模型得以反超閉源的 Gemini-3.1-Pro 與 GPT-5。

4. 更好的視頻生成（Better Generation）：用后訓(xùn)練好的模型重新對專業(yè)視頻打字幕，再微調(diào) Wan2.2，使其能聽懂長達(dá) 400 英文詞的電影級指令，精準(zhǔn)生成希區(qū)柯克變焦、拉焦、荷蘭角、變速、等距視角等專業(yè)攝影技法。

一、標(biāo)注體系：把電影人的鏡頭語言寫下來

過去的視頻文本數(shù)據(jù)集（如 ActivityNet、MSR-VTT、PerceptionLM）由于缺乏字幕規(guī)范，常見問題包括：混淆 dolly-in（推軌）與 zoom-in（變焦），遺漏關(guān)鍵相機(jī)與變焦細(xì)節(jié)，用「氛圍感足」「讓人熱血沸騰」等主觀描述代替客觀視覺內(nèi)容。

電影人以及更廣泛的視頻創(chuàng)作者則沒有這個問題。他們用拉焦（rack focus）、荷蘭角（Dutch angle）、中景（medium full shot）這樣的專業(yè)術(shù)語在片場與團(tuán)隊實現(xiàn)了精準(zhǔn)的溝通、協(xié)作。CHAI 正是把這套影視行業(yè)內(nèi)的通用詞匯整理成了一套清晰的標(biāo)注體系。

圖 2：與 100+ 位職業(yè)視頻創(chuàng)作者歷時一年共建的標(biāo)注體系。左（紅）：過往數(shù)據(jù)集的三類典型問題，包括術(shù)語含混、信息缺失、主觀描述；右（藍(lán)）：CHAI 的結(jié)構(gòu)化標(biāo)注體系及配套的標(biāo)注規(guī)則與教程。

CHAI 的字幕標(biāo)注覆蓋 5 大維度：

• ? 主體（Subject）：類型、外觀、姿態(tài)、主體關(guān)系等

• ?? 場景（Scene）：視角、疊加元素、環(huán)境、時間等

• ? 動作（Motion）：動作行為、人物互動、群體動態(tài)等

• ? 空間構(gòu)圖和移動（Spatial）：景別、畫面位置、縱深、空間運動等

• ? 鏡頭參數(shù)和運動（Camera）：機(jī)位高度、角度、焦距、聚焦、穩(wěn)定度、運動軌跡等

圖 3：CHAI 的視頻語言分類體系：各一級維度進(jìn)一步細(xì)分為多個子維度，并由 200 余個視覺與運動基元支撐，實現(xiàn)對視頻內(nèi)容的精細(xì)化表達(dá)。

二、可擴(kuò)展監(jiān)督：AI 起草，人類批改

規(guī)范告訴你「描述什么」，但「誰來寫」仍是個問題。

人類親手寫的字幕常見問題有：錯別字、語法錯誤、事件順序混亂。模型寫的字幕：行文流暢，卻經(jīng)常憑空捏造畫面里沒有的物體和動作（模型幻覺）。

CHAI 的核心思路是可擴(kuò)展監(jiān)督（Scalable Oversight）：讓模型負(fù)責(zé)寫作，讓人類專注發(fā)現(xiàn)字幕中的視覺與動作錯誤，各司其長。

CHAI 的標(biāo)注流程由此被重新設(shè)計為「AI— 專家 —AI」的三段式協(xié)作：模型先按既定規(guī)范生成一份覆蓋全面的「pre-caption」初稿，專家隨后在初稿基礎(chǔ)上指出錯誤并提出修改建議（critique），無需從零撰寫字幕；模型再依據(jù)專家的批改意見進(jìn)行改寫，生成準(zhǔn)確的「post-caption」終稿。

同時，CHAI 引入同行評審獎勵機(jī)制：標(biāo)注越準(zhǔn)確，獎勵越高；審核糾錯同樣有獎勵。這一舉措顯著提升了標(biāo)注的質(zhì)量。

圖 4：左（紅）：傳統(tǒng)純?nèi)斯せ蚣兡Ｐ蜆?biāo)注的三類問題，包括視覺幻覺、行文糟糕、細(xì)節(jié)不準(zhǔn)；右（藍(lán)）：CHAI 的可擴(kuò)展監(jiān)督框架。AI 基于基元生成初稿（pre-caption），人類用批改（critique）把幻覺與細(xì)節(jié)錯誤指出來，再由 AI 生成終稿（post-caption）；標(biāo)注員與審核員之間則通過同行評審獎勵機(jī)制相互制衡。

把標(biāo)注員工作重心從「寫作」轉(zhuǎn)向「校對」，他們對單個視頻的認(rèn)知負(fù)擔(dān)得以顯著降低，卻能產(chǎn)出準(zhǔn)確度更高的 200–400 詞長字幕。

三、后訓(xùn)練效果：8B 小模型反超 GPT-5 與 Gemini-3.1-Pro

CHAI 流水線產(chǎn)出的不只是字幕，而是（pre-caption, critique, post-caption）三元組：一份數(shù)據(jù)，同時可以訓(xùn)練三種模型能力，包括字幕生成、獎勵建模、批改生成。

CHAI 團(tuán)隊發(fā)現(xiàn)：批改的質(zhì)量，決定了模型能力。

圖 5：一條好的批改必須同時滿足三個屬性：準(zhǔn)確（precision）、完整（recall）、有建設(shè)性（constructive）。CHAI 的標(biāo)注機(jī)制通過強(qiáng)制標(biāo)注員撰寫高質(zhì)量批改，直接指導(dǎo)模型改寫，自然實現(xiàn)了這三點。

為了證明這一點，團(tuán)隊做了一組對比實驗：分別削弱批改的某一項屬性，觀察對下游任務(wù)的影響。

研究得出三項關(guān)鍵結(jié)論。其一，在模型訓(xùn)練時加入獎勵（reward）和批改（critique）的數(shù)據(jù)能夠顯著提升 SFT 與 RL 的效果，僅 8B 參數(shù)的 Qwen3-VL 經(jīng)過后訓(xùn)練，便在多項關(guān)鍵評測上反超閉源的 Gemini-3.1-Pro 與 GPT-5。其二，批改質(zhì)量是真正的瓶頸所在，準(zhǔn)確性、完整性、和建設(shè)性三者缺一不可；然而過往工作（如 OpenAI GDC、MM-RLHF）所收集的批改樣本中，超過 50% 屬于非建設(shè)性反饋。其三，推理時擴(kuò)展（Inference-Time Scaling）同樣適用于這一框架，以同一份獎勵模型進(jìn)行 best-of-N 選擇，無需新增數(shù)據(jù)，性能即可持續(xù)提升。

四、更準(zhǔn)的理解 → 更好的生成

視頻字幕做得更準(zhǔn)之后，最直接的下游應(yīng)用就是視頻生成。

研究團(tuán)隊用后訓(xùn)練好的字幕模型，重新對大規(guī)模專業(yè)視頻（電影、廣告、MV、游戲畫面）進(jìn)行打標(biāo)，再以這些數(shù)據(jù)微調(diào) Wan2.2。結(jié)果：模型可以聽懂長達(dá) 400 詞的電影級指令，對那些開源生成器（Wan2.2）普遍翻車的技法實現(xiàn)精準(zhǔn)生成。

圖 6：在重新打標(biāo)的專業(yè)視頻上微調(diào)后，Wan2.2 對詳細(xì)的電影級指令顯著更忠實，可以精準(zhǔn)執(zhí)行希區(qū)柯克變焦（上）、保持 2.5D 等距視角（下）等過往視頻模型頻繁失敗的復(fù)雜技法。

為什么不用眾包？為什么過去的標(biāo)注總是失??？

在請來職業(yè)創(chuàng)作者之前，團(tuán)隊也嘗試過眾包工人。結(jié)果？眾包標(biāo)注員仍然分不清 推軌（dolly-in）與 變焦 （zoom-in）、把全景鏡頭（full shot）叫成 特寫（close-up shot）、把魚眼鏡頭（fisheye lens）造成的建筑物變形描述成「圓形的建筑」。

圖 7：眾包標(biāo)注員描述常見鏡頭技法時的典型錯誤。把鳥瞰鏡頭叫「鳥瞰視圖」、把魚眼鏡頭看作「圓形建筑」、把推焦鏡頭描述為「推軌鏡頭」等，反映出他們?nèi)狈︾R頭語言的基本視覺詞匯。

為進(jìn)一步驗證這一判斷，團(tuán)隊系統(tǒng)評估了 2016 至 2025 年間發(fā)布的 8 個公開視頻 - 文本數(shù)據(jù)集（包括 MSR-VTT、PerceptionLM、Dream1K 等），結(jié)果指向兩類反復(fù)出現(xiàn)的問題。其一源于標(biāo)注規(guī)則缺失，術(shù)語含混、關(guān)鍵信息缺失；其二源于監(jiān)督不足，導(dǎo)致行文混亂與細(xì)節(jié)失真。無論擴(kuò)大模型規(guī)模還是增加數(shù)據(jù)體量，都難以解決，根本問題在于流程，必須從數(shù)據(jù)標(biāo)注源頭入手。這一發(fā)現(xiàn)直接促成了 CHAI 團(tuán)隊和 100+ 位職業(yè)視頻創(chuàng)作者的長期合作。

寫在最后：開源生態(tài)

為了支持后續(xù)研究與產(chǎn)業(yè)落地，CHAI 團(tuán)隊完整開源了：標(biāo)注體系、培訓(xùn)教材、標(biāo)注平臺、質(zhì)控流程、數(shù)據(jù)、代碼與模型。

? 項目主頁：https://linzhiqiu.github.io/papers/chai/

CHAI 是該 CMU 團(tuán)隊「精準(zhǔn)視頻語言」研究計劃中的一環(huán)。同期推進(jìn)的還有兩項工作：CameraBench（NeurIPS'25 Spotlight，入選率前 3%）作為相機(jī)運動理解的前作基準(zhǔn)，包含約 3000 個專家標(biāo)注視頻、一套完整的運動基元分類體系，以及對 SfM 與 VLM 方法的系統(tǒng)性評測；Moodio 與 CameraBench-Pro（2026 年 5 月發(fā)布）則在此基礎(chǔ)上更進(jìn)一步，基于 225 個電影級基元與 150 萬余條專業(yè)標(biāo)注，面向?qū)I(yè)視頻制作場景打造 AI 協(xié)作工具。