原文作者：公眾號(hào)“深圳市大數(shù)據(jù)研究院”

原文鏈接：https://mp.weixin.qq.com/s/j3Ph76mVsyunjALjcCp0Sg

近年來，大模型正逐步從“感知工具”演變?yōu)樽灾飨到y(tǒng)中的“推理引擎”。在自動(dòng)駕駛中，它們有望承擔(dān)復(fù)雜場(chǎng)景理解、風(fēng)險(xiǎn)判斷與任務(wù)決策等高層認(rèn)知工作。

然而，一旦繼續(xù)向下延伸到軌跡規(guī)劃和底層控制，就會(huì)立即遇到一個(gè)核心矛盾：大模型能力強(qiáng)，但時(shí)延高、輸出形式偏語(yǔ)言；控制與優(yōu)化模塊則需要低延遲、可驗(yàn)證、可部署。

已有研究主要沿著兩條路線推進(jìn)：一類嘗試讓大模型直接輸出軌跡或控制參數(shù)，雖然形式上“端到端”，但往往脆弱、難驗(yàn)證，也難以滿足實(shí)時(shí)閉環(huán)的工程約束；另一類則讓大模型在線調(diào)整 MPC 目標(biāo)或參數(shù)，在一定程度上緩解了運(yùn)行問題，卻將慢速推理與快速控制混在一起，仍然沒有真正回答“高層語(yǔ)義如何穩(wěn)定影響中層規(guī)劃”的問題。

也正因如此，“快慢思考”框架的價(jià)值不僅在于把大模型從實(shí)時(shí)環(huán)路中解放出來，更在于建立一套跨層橋接邏輯：讓慢速的大模型負(fù)責(zé)理解和決策，讓快速的經(jīng)典模塊負(fù)責(zé)執(zhí)行，并通過清晰、可解釋的接口把兩者連接起來。AFSP 正是在這一思路下提出的。

Perception2Decision：

只保留與交通決策最相關(guān)的信息

如果直接把原始圖像送入大模型，不僅計(jì)算開銷高、帶寬成本大，而且圖像中還包含大量與駕駛決策無(wú)關(guān)的細(xì)節(jié)。為此，AFSP 采用一種更加 task-oriented 的表示方式：先在端側(cè)使用輕量化 VLM 提取交通場(chǎng)景中的拓?fù)鋱D，僅保留車輛、障礙物、距離、方位、相對(duì)關(guān)系等與決策最相關(guān)的結(jié)構(gòu)信息；再將這一緊湊的拓?fù)浔硎舅屯贫?，?LLM 輸出符號(hào)化駕駛決策，例如 LEFT、RIGHT、KEEP 以及相應(yīng)駕駛風(fēng)格。

這種做法的關(guān)鍵并不只是“壓縮數(shù)據(jù)”，而是把視覺輸入轉(zhuǎn)換為更貼近交通決策邏輯的中間表示。它讓大模型的推理聚焦于真正相關(guān)的結(jié)構(gòu)關(guān)系，減少冗余視覺細(xì)節(jié)干擾，也為下游規(guī)劃層提供了清晰、可解釋的語(yǔ)義接口。

Decision2Trajectory：

讓擅長(zhǎng)輸出語(yǔ)言的大模型穩(wěn)定影響長(zhǎng)程軌跡

大模型天然擅長(zhǎng)輸出語(yǔ)言，但并不擅長(zhǎng)直接給出長(zhǎng)程、可執(zhí)行、可驗(yàn)證的軌跡。相較之下，VLA 或 VLN 類方法雖然能夠輸出參考軌跡，但本質(zhì)上仍然是在學(xué)習(xí)“軌跡本身”，在長(zhǎng)程一致性、可解釋性與工程穩(wěn)定性方面仍存在挑戰(zhàn)。AFSP 的思路不是要求 LLM 直接生成完整軌跡，而是只保留其中真正有價(jià)值的“交通決策邏輯”，再將這些邏輯翻譯為對(duì)經(jīng)典規(guī)劃算法有意義的啟發(fā)式代價(jià)。

具體來說，AFSP 將 LLM 輸出的語(yǔ)義決策注入 A* 規(guī)劃器，以軟約束（soft semantic cost）的方式影響搜索過程。這樣做有兩個(gè)好處：一方面，可以讓生成軌跡朝著符合語(yǔ)義意圖的方向偏置；另一方面，又避免把語(yǔ)言決策當(dāng)作硬約束，從而保留經(jīng)典搜索在幾何可行性與魯棒性上的優(yōu)勢(shì)。換句話說，系統(tǒng)不是讓大模型“替代”傳統(tǒng)規(guī)劃，而是讓大模型以一種可落地、可解釋的方式“指導(dǎo)”傳統(tǒng)規(guī)劃。

Agentic Refinement：

把“人工調(diào)參”變成“智能調(diào)參”

僅有語(yǔ)義引導(dǎo)還不夠，經(jīng)典規(guī)劃算法在實(shí)際使用中往往還依賴大量經(jīng)驗(yàn)性超參數(shù)。研究團(tuán)隊(duì)觀察到，不同超參數(shù)會(huì)顯著影響路徑生成的行為：有的會(huì)導(dǎo)致動(dòng)作過早發(fā)生，有的會(huì)造成語(yǔ)義不匹配，還有的會(huì)引入不必要的振蕩。這意味著，即便橋接邏輯設(shè)計(jì)得再好，如果仍然依賴人工反復(fù)調(diào)參，系統(tǒng)的可遷移性與可部署性也會(huì)受到限制。

為此，AFSP 進(jìn)一步引入 Agentic Refinement Module。該模塊借助大模型的推理能力，把“觀察反饋—分析問題—調(diào)整參數(shù)—再次嘗試”的人工調(diào)參流程自動(dòng)化：系統(tǒng)會(huì)從云端記憶中檢索相似場(chǎng)景的初始參數(shù)配置，再根據(jù)當(dāng)前軌跡反饋迭代優(yōu)化超參數(shù)，直到獲得更合適的規(guī)劃結(jié)果。由此，AFSP 不僅讓大模型參與高層決策，也讓其參與規(guī)劃器的自適應(yīng)優(yōu)化。

拓?fù)漭斎肽芙档蜁r(shí)延，同時(shí)保留決策質(zhì)量

在 Perception2Decision 部分，團(tuán)隊(duì)首先驗(yàn)證拓?fù)浔硎臼欠褡阋灾未竽Ｐ蜎Q策。實(shí)驗(yàn)結(jié)果表明，在相同提示詞下，基于拓?fù)鋱D輸入的 LLM 能夠獲得與 VLM 直接決策相近的結(jié)果，同時(shí)顯著降低推理時(shí)間：場(chǎng)景決策匹配得分平均達(dá)到 0.73，而平均推理時(shí)延從 VLM 方案的 10.24 秒降低到 4.13 秒。

語(yǔ)義引導(dǎo) A* 提升長(zhǎng)程意圖一致性

在 Decision2Trajectory 部分，團(tuán)隊(duì)考察了地圖偏移與障礙物擾動(dòng)條件下的路徑生成行為。結(jié)果顯示，普通 A* 在環(huán)境發(fā)生輕微變化時(shí)，容易偏離預(yù)期決策語(yǔ)義；而引入語(yǔ)義引導(dǎo)后，規(guī)劃結(jié)果在 Shift 1、Shift 2、Shift 3 等不同設(shè)定下仍能較好保持 left / keep / right 等高層交通意圖，體現(xiàn)出更強(qiáng)的長(zhǎng)程一致性與魯棒性。

這也從另一個(gè)側(cè)面驗(yàn)證了 AFSP 的橋接邏輯：大模型不必直接生成長(zhǎng)程軌跡，只要把高層決策穩(wěn)定地翻譯為中層規(guī)劃中的代價(jià)偏置，就可以讓經(jīng)典搜索自然地生成更符合語(yǔ)義意圖的路徑。

CARLA 閉環(huán)驗(yàn)證：更快、更穩(wěn)、更可解釋

在完整系統(tǒng)層面，研究團(tuán)隊(duì)將 AFSP 與純 MPC 以及 A* + MPC 兩個(gè)基線進(jìn)行比較。實(shí)驗(yàn)分別在正常地圖和多種擾動(dòng)地圖下重復(fù)開展，評(píng)價(jià)指標(biāo)包括完成時(shí)間、軌跡長(zhǎng)度、平均橫向偏差、速度波動(dòng)和最大橫向偏差。結(jié)果顯示，AFSP 在三種場(chǎng)景下均取得了更優(yōu)或更穩(wěn)健的表現(xiàn)：平均完成時(shí)間相比純 MPC 縮短約 12%，相比 A* 縮短約 11%；最大橫向偏差相比純 MPC 下降約 45%，相比 A* 下降約 35%。

這表明，AFSP 不只是“想法新”，更重要的是它在不犧牲傳統(tǒng)優(yōu)化方法穩(wěn)定性與可部署性的前提下，真正把大模型的認(rèn)知與推理能力系統(tǒng)性地融入了自主系統(tǒng)決策閉環(huán)。

整體來看，AFSP試圖回答的并非“大模型能否指導(dǎo)具身智能實(shí)時(shí)控制”，而是“能否以工程可落地、系統(tǒng)可解釋的方式，使其真正具備這一能力”。相比直接讓大模型接管底層控制，AFSP 選擇了一條更穩(wěn)健的技術(shù)路線：把大模型放在其最擅長(zhǎng)的認(rèn)知與推理層，把經(jīng)典算法放在其最擅長(zhǎng)的規(guī)劃與控制層，再通過清晰的接口完成跨層橋接。

從這個(gè)意義上說，AFSP 不僅是一種具體方法，也代表了一種面向真實(shí)自主系統(tǒng)的設(shè)計(jì)范式：先做結(jié)構(gòu)化抽象，再做語(yǔ)義決策；先保留高層邏輯，再翻譯為中層規(guī)劃偏置；在此基礎(chǔ)上結(jié)合反饋閉環(huán)，實(shí)現(xiàn)持續(xù)自適應(yīng)優(yōu)化。未來，這一方向有望進(jìn)一步推動(dòng)大模型從“會(huì)說、會(huì)看”走向“能落地、可部署、可驗(yàn)證”的真實(shí)自主系統(tǒng)應(yīng)用。

雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))