0
| 本文作者： 鄭佳美 | 2026-06-01 15:34 |
作者丨鄭佳美
編輯丨馬曉寧
大模型智能體正在從“會聊天”走向“會做事”。
在網(wǎng)頁搜索、工具調(diào)用、自動辦公、軟件操作、具身機器人等場景中，智能體面對的不再是單輪問答，而是連續(xù)決策：它要理解任務目標，選擇合適工具，執(zhí)行多個步驟，并根據(jù)環(huán)境反饋不斷調(diào)整行動。
例如，一個家庭服務機器人要完成“把冷卻后的物品放到指定位置”，不能只知道“冷卻”是什么意思，還要先找到正確物體，判斷物體狀態(tài)，完成冷卻操作，再確認是否放置成功；一個搜索問答智能體也不能只生成答案，而要先判斷問題類型，檢索證據(jù)，篩掉無關信息，再組織最終回答。
在這種行業(yè)背景下，外部技能逐漸成為 LLM agent 的重要能力來源。它們像是可復用的操作經(jīng)驗，能夠幫助智能體處理復雜流程、長尾任務和容易出錯的步驟。
但問題也隨之出現(xiàn)：技能是不是越多越好？如果一直把技能塞進系統(tǒng)，智能體可能檢索到錯誤技能，被無關信息干擾；如果追求“零技能推理”，又可能把一些低頻但關鍵的能力刪掉，導致復雜任務中失誤增加。也就是說，行業(yè)真正需要解決的不是“要不要技能”，而是“技能應該怎樣被管理”。
針對這個問題，香港中文大學團隊提出了《Dynamic Skill Lifecycle Management for Agentic Reinforcement Learning》，簡稱 SLIM。這項研究把外部技能看成一個有生命周期的能力系統(tǒng)，而不是固定不變的提示材料。SLIM 會在訓練過程中判斷每個技能的真實貢獻：有用的技能繼續(xù)保留，貢獻變小的技能逐漸退休，當前能力覆蓋不到的失敗場景再擴展新技能。
這讓智能體的訓練方式更接近真實工作中的能力管理。比如在 ALFWorld 這類長流程任務中，一些清潔、加熱、冷卻、狀態(tài)檢查相關技能仍然需要保留在外部，幫助智能體完成連續(xù)動作；而在 SearchQA 這類搜索問答任務中，部分搜索和推理策略可能更容易被模型吸收，最終對外部技能的依賴就會降低。
SLIM 想回答的核心問題，正是大模型智能體走向復雜任務時繞不開的問題：哪些能力應該寫進模型，哪些能力應該留在外部，哪些能力又應該在失敗中被重新補上。
論文地址：https://arxiv.org/pdf/2605.10923
01
研究團隊的實驗結果顯示，SLIM 在整體表現(xiàn)上最好，平均超過最佳對比方法 7.1 個百分點，這說明提升不是偶然來自某一個任務，而是來自訓練過程中對技能集合的動態(tài)管理。
SLIM 的優(yōu)勢不是固定使用同一批技能，也不是單純增加技能數(shù)量，而是根據(jù)每個技能在不同階段的作用變化，決定哪些技能繼續(xù)保留，哪些技能刪除，哪些技能需要新增。
在 ALFWorld 上，SLIM成功率為 87.5，最強基線方法 SkillRL 為 75.0，提升較明顯。ALFWorld 的任務步驟長、動作多、狀態(tài)變化明顯，智能體需要持續(xù)觀察環(huán)境、判斷物體狀態(tài)、選擇正確動作，并按順序完成多個操作，所以這類任務仍然需要一部分外部技能輔助。
SLIM 在這個任務上表現(xiàn)更好，說明經(jīng)過篩選后留下的外部技能，能夠幫助智能體處理復雜流程和狀態(tài)變化。在 SearchQA 上，SLIM無論是否攜帶技能都為 41.0，最強非 SLIM 方法 Skill0 為 39.3，雖然也有提升，但不如 ALFWorld 明顯。
SearchQA 主要圍繞搜索、推理和回答展開，任務重點在于找到信息、組織推理路徑并輸出答案，所以外部技能更像訓練階段的輔助，最終依賴較弱。帶技能和不帶技能的結果也能體現(xiàn)這種差異，ALFWorld 中帶技能明顯更好，說明它更依賴外部過程技能，SearchQA 中帶不帶技能差距很小，說明模型更容易把技能中的搜索和回答策略吸收到自身能力中。
訓練過程中，不同方法的技能變化也很有代表性。SkillRL 的技能持續(xù)增加，說明它偏向不斷累積技能，但技能多并不一定更好，因為過多技能可能帶來檢索噪聲和上下文干擾。Skill0 的技能持續(xù)減少，最后變成零技能，說明它偏向把技能全部內(nèi)化到模型中，但這種方式可能會丟失低頻、長尾或復雜流程能力。雷峰網(wǎng)
SLIM 則先增加技能，再篩選技能，最后保留少量有效技能，并最終保留 21 個技能，說明最優(yōu)狀態(tài)不是技能越多越好，也不是技能全部刪除最好，而是保留仍然有實際貢獻的技能。
消融實驗進一步證明了這一點，去掉“退休”機制后性能明顯下降，說明只增加技能而不刪除無效技能會影響效果；去掉“擴展”機制后性能也下降，說明只篩選已有技能還不夠，還需要補足當前技能無法覆蓋的失敗情況；隨機管理技能效果更差，說明技能增刪不能隨意進行。
固定技能數(shù)量也不如 SLIM，說明關鍵不是簡單控制技能數(shù)量，而是根據(jù)技能貢獻決定保留、刪除和擴展。案例分析結果也支持這個結論，有些技能使用頻率高，但貢獻已經(jīng)很小，可能已經(jīng)被模型學會或被其他技能替代；有些技能使用頻率不高，但在特定任務中非常關鍵，不能因為低頻就刪除。
還有些新擴展出來的技能，后期也可能變得冗余，說明新增技能并不代表永久保留。因此，是否保留技能不能只看使用次數(shù)，更重要的是看禁用某個技能后，任務表現(xiàn)是否明顯變差。
02
研究團隊的實驗目標，是驗證 SLIM 是否優(yōu)于傳統(tǒng)技能使用方式。實驗主要對比了三種思路，一種是普通 RL，重點放在訓練 policy 上，一種是技能累積，也就是不斷增加外部技能，還有一種是技能內(nèi)化，也就是逐漸刪除外部技能。雷峰網(wǎng)(公眾號：雷峰網(wǎng))
圍繞這些對比，研究真正想回答的問題是，LLM agent 在訓練過程中，外部技能到底要怎樣變化。實驗使用的基礎模型是 Qwen3-4B，任務包括 ALFWorld 和 SearchQA，其中 ALFWorld 是模擬家庭環(huán)境任務 ，更偏動作執(zhí)行，SearchQA 是搜索問答任務，更偏信息檢索和推理。
這樣設置的目的，是觀察 SLIM 在不同類型任務中是否都能發(fā)揮作用。實驗對比對象也比較全面，包括提示類方法 Zero-Shot、Few-Shot，agent 類方法 ReAct、Reflexion，memory 類方法 Mem0、ExpeL，RL 類方法 GRPO、EvolveR，技能類方法 SkillRL、Skill0，以及研究提出的 SLIM。對比范圍較廣，所以能夠說明 SLIM 不是只比某一類較弱的 baseline 好，而是在多種方法體系中都有競爭力。
SLIM 的基本訓練流程可以理解為一個不斷循環(huán)的過程。首先，系統(tǒng)會根據(jù)當前任務檢索相關技能，然后讓 agent 帶著這些技能去執(zhí)行任務，接著用 GRPO 更新 policy。訓練一段時間后，系統(tǒng)會進入技能審計階段，也就是檢查不同技能在當前訓練狀態(tài)下還有沒有價值。
審計完成后，再決定技能是繼續(xù)保留、刪除，還是新增。技能檢索時，技能被分成兩類，一類是通用技能，適合多種任務中的策略，另一類是任務專屬技能，針對某類任務中的具體操作方法。每次任務只會從當前 active skill set 里檢索相關技能，而不是把所有技能全部塞進 prompt，這樣可以減少無關技能帶來的干擾。
在判斷技能貢獻時，SLIM 使用的核心方法是 leave-one-skill-out 驗證，即臨時禁用某個技能，然后比較禁用前后的驗證表現(xiàn)。如果禁用后表現(xiàn)明顯下降，說明這個技能仍然有價值。如果禁用后表現(xiàn)幾乎不變，說明相關能力可能已經(jīng)被模型學會。如果禁用后表現(xiàn)變好，說明這個技能可能產(chǎn)生干擾。
通過這種方式，研究團隊可以估計技能的邊際外部貢獻。根據(jù)貢獻結果，SLIM 會執(zhí)行三種操作。Retain 指保留技能，適用于技能仍然明顯提高任務表現(xiàn)的情況，作用是讓有用的外部能力繼續(xù)參與后續(xù)任務，尤其適合步驟復雜、容易出錯的任務流程。
Retire 指退休技能，適用于技能貢獻長期很低的情況，可能原因包括模型已經(jīng)學會相關能力，其他技能已經(jīng)覆蓋它，技能信息過時，或者技能會干擾決策，作用是減少無效技能帶來的噪聲和上下文負擔。Expand 指擴展技能，適用于某些任務區(qū)域持續(xù)失敗的情況，這說明當前技能庫覆蓋不足，所以系統(tǒng)會從失敗案例中總結新技能，用來補足原有技能庫沒有覆蓋到的能力。
這個擴展過程不是盲目增加技能，而是根據(jù)失敗模式進行補充。最終推理時，訓練已經(jīng)完成，系統(tǒng)會使用最終保留下來的技能集合，只檢索相關技能，不再繼續(xù)執(zhí)行保留、退休和擴展。實驗中對比了 SLIM 攜帶技能和沒有攜帶技能兩種情況，兩者對比可以觀察模型最終是否仍然依賴外部技能。
03
研究的意義首先在于重新思考“技能持續(xù)累積”這種做法。SkillRL 一直增加技能，表面上看外部知識變多了，但實際使用時可能帶來新的問題。技能過多會讓檢索更容易選錯，prompt 中也會出現(xiàn)更多無關信息，agent 甚至可能被錯誤技能誤導，所以技能庫并不是越大越好。
其次，研究也反思了“零技能推理”這種做法。Skill0 試圖把技能全部內(nèi)化進模型，一部分技能確實可以被模型學會，但并不是所有技能都適合且能夠放進模型參數(shù)里。低頻技能、長尾技能和復雜流程技能，可能仍然需要保留在外部，如果強制刪除全部技能，就容易損失一些局部但關鍵的能力。
SLIM 的核心價值就在于，它不假設技能必須一直增加，也不假設技能最終必須全部消失，而是讓技能根據(jù)貢獻動態(tài)變化，有用的繼續(xù)保留，無用的逐漸刪除，缺失的重新擴展，這更接近真實 agent 訓練中的能力管理過程。
從模型參數(shù)和外部技能的分工來看，常見能力適合被模型參數(shù)吸收，重復出現(xiàn)的簡單流程適合逐漸內(nèi)化，低頻但重要的流程適合外部保留，當前技能庫沒有覆蓋的能力則適合新增技能。因此，SLIM 實際上是在學習“哪些能力放進模型，哪些能力留在外部”。
這也給 agentic RL 帶來啟發(fā)，傳統(tǒng) RL 主要優(yōu)化 policy，而 SLIM 同時優(yōu)化 policy 和外部技能集合，使 agent 不只是學會做任務，還學會什么時候需要外部幫助，因此更適合復雜任務、長流程任務和工具使用任務。
不同任務也需要不同的技能管理方式，ALFWorld 更需要保留外部技能，因為任務涉及連續(xù)動作、環(huán)境狀態(tài)和順序約束，SearchQA 更容易把技能轉(zhuǎn)化為模型策略，因為任務更偏搜索與回答模式，所以不能統(tǒng)一采用“全保留”或“全刪除”。
總體來看，SLIM 提供了一種更靈活的技能生命周期管理方法，在訓練過程中動態(tài)調(diào)整外部技能，最終形成一個精簡但有效的技能集合，既避免技能過多造成干擾，也避免技能過少導致能力缺失。研究的核心貢獻，是把外部技能集合從固定輔助工具，變成可以和 policy 一起優(yōu)化的訓練對象。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
