很多人在使用文生圖工具時(shí)都會(huì)遇到類似的情況，輸入一段很清晰的描述，希望畫(huà)面中人物站在左邊、動(dòng)物在右邊，或者希望海報(bào)上出現(xiàn)一段完整可讀的文字，但生成結(jié)果卻常常讓人失望。

要么位置關(guān)系混亂，要么文字變形，要么整體畫(huà)面看起來(lái)不自然。繼續(xù)調(diào)整參數(shù)，有時(shí)結(jié)果會(huì)更接近描述，但畫(huà)面質(zhì)量卻明顯下降，顏色變得奇怪，結(jié)構(gòu)開(kāi)始扭曲。反復(fù)嘗試之后，往往需要生成十幾張甚至幾十張圖，才能勉強(qiáng)挑出一張可用的。

這種既想讓模型聽(tīng)懂指令，又不希望畫(huà)面被破壞的矛盾體驗(yàn)，已經(jīng)成為很多用戶在實(shí)際使用生成模型時(shí)的共同感受。

隨著生成式人工智能逐漸進(jìn)入設(shè)計(jì)、電商、內(nèi)容創(chuàng)作等真實(shí)場(chǎng)景，這種問(wèn)題變得更加突出。用戶不再只是追求一張看起來(lái)不錯(cuò)的圖，而是希望結(jié)果穩(wěn)定、結(jié)構(gòu)正確、細(xì)節(jié)可靠，可以直接用于實(shí)際工作。

然而現(xiàn)有方法在可控性和穩(wěn)定性之間始終存在明顯沖突，模型越是強(qiáng)調(diào)語(yǔ)義對(duì)齊，就越容易犧牲視覺(jué)質(zhì)量，這種內(nèi)在限制逐漸成為生成模型走向更廣泛應(yīng)用的一道門(mén)檻。

在這樣的背景下，清華大學(xué)段岳圻團(tuán)隊(duì)提出了《CFG-Ctrl: Control-Based Classifier-Free Diffusion Guidance》這一研究工作，從更底層的角度重新審視這一問(wèn)題。

研究不再把 CFG 當(dāng)作簡(jiǎn)單的參數(shù)調(diào)節(jié)手段，而是將整個(gè)生成過(guò)程看作一個(gè)動(dòng)態(tài)系統(tǒng)，把語(yǔ)義偏差理解為需要被控制的誤差，并引入控制理論來(lái)重新設(shè)計(jì) guidance 機(jī)制。這種思路的變化，使得生成過(guò)程不再依賴反復(fù)試錯(cuò)，而是可以通過(guò)更穩(wěn)定的方式逐步收斂到符合語(yǔ)義約束的結(jié)果。

這種改進(jìn)在實(shí)際場(chǎng)景中的意義也很直觀。當(dāng)需要生成具有明確空間關(guān)系的畫(huà)面時(shí)，模型能夠更穩(wěn)定地保持結(jié)構(gòu)一致；當(dāng)畫(huà)面中包含文字時(shí)，內(nèi)容更容易保持清晰和正確；在復(fù)雜場(chǎng)景中，多對(duì)象之間的關(guān)系也更不容易出現(xiàn)錯(cuò)亂。

用戶不再需要通過(guò)大量嘗試去碰運(yùn)氣，而更有可能在較少次數(shù)內(nèi)得到符合預(yù)期的結(jié)果。這樣的變化，正體現(xiàn)出生成模型從偶爾成功走向穩(wěn)定可靠的關(guān)鍵一步，也讓這項(xiàng)研究在當(dāng)前發(fā)展階段顯得尤為重要。

論文地址：https://arxiv.org/pdf/2603.03281

從高 scale 穩(wěn)定性到復(fù)雜 prompt 表現(xiàn)

在實(shí)驗(yàn)結(jié)果方面，研究人員首先關(guān)心的是，相比標(biāo)準(zhǔn) CFG（Classifier-Free Guidance），性能提升是否全面且穩(wěn)定。結(jié)論是肯定的，而且提升并不是集中在某一個(gè)指標(biāo)上，而是體現(xiàn)在多個(gè)維度同時(shí)改善。

比如在圖像質(zhì)量指標(biāo) FID（Fréchet Inception Distance） 上，SMC-CFG 比標(biāo)準(zhǔn) CFG 進(jìn)一步下降了一小截，說(shuō)明生成結(jié)果更接近真實(shí)圖像分布。在語(yǔ)義對(duì)齊指標(biāo) CLIP 上，提升幅度雖然不算特別大，但表現(xiàn)很穩(wěn)定，基本能夠持續(xù)領(lǐng)先其他方法，這說(shuō)明這種改進(jìn)并不是靠某類樣本上的偶然優(yōu)勢(shì)，而是真正增強(qiáng)了模型對(duì)文本語(yǔ)義的理解能力。

在人類偏好相關(guān)指標(biāo)上，像 ImageReward、HPS、PickScore 等提升更明顯，而且很多時(shí)候都處在所有方法里的最高水平。真正重要的是，SMC-CFG 不是只把某一個(gè)指標(biāo)做高，而是在圖像質(zhì)量、語(yǔ)義對(duì)齊和主觀偏好這些通常很難兼顧的方向上一起變好。

從跨模型的一致性來(lái)看，研究使用了 3 種不同規(guī)模的文生圖模型，分別是中等規(guī)模的 SD3.5、較大規(guī)模的 Flux，以及超大規(guī)模的 Qwen-Image。實(shí)驗(yàn)中有一個(gè)很明顯的現(xiàn)象，就是模型規(guī)模越大，SMC-CFG 的優(yōu)勢(shì)越清楚。

在較小模型上，這種優(yōu)勢(shì)更多體現(xiàn)為略優(yōu)，而在更大模型上，它在多個(gè)指標(biāo)上能夠持續(xù)拉開(kāi)差距。這說(shuō)明，SMC-CFG 解決的并不只是一個(gè)局部調(diào)參問(wèn)題，而更像是在處理模型規(guī)模增大后更容易出現(xiàn)的不穩(wěn)定性問(wèn)題。

研究還把它與 CFG-Zero* 和 Rectified-CFG++ 這些已經(jīng)改進(jìn)過(guò)的方法做了比較，結(jié)果顯示，SMC-CFG 依然能夠繼續(xù)取得提升，而且這種優(yōu)勢(shì)不是某個(gè)指標(biāo)上的局部突破，而更接近整體性的領(lǐng)先，這也說(shuō)明它不是簡(jiǎn)單技巧，而是機(jī)制層面的改進(jìn)。

高 guidance scale 下的表現(xiàn)，是整項(xiàng)研究最關(guān)鍵的結(jié)果之一。傳統(tǒng) CFG 的典型問(wèn)題是，guidance scale 增大后，語(yǔ)義對(duì)齊通常會(huì)更強(qiáng)，但圖像質(zhì)量往往會(huì)明顯下降，也就是模型越努力貼近文本，越容易把畫(huà)面做壞。

實(shí)驗(yàn)顯示，標(biāo)準(zhǔn) CFG 隨著 scale 提升，圖像劣化會(huì)越來(lái)越明顯，而 SMC-CFG 在同樣條件下仍然能夠繼續(xù)增強(qiáng)語(yǔ)義信息，同時(shí)把圖像質(zhì)量維持在相對(duì)穩(wěn)定的狀態(tài)。這意味著它在一定程度上打破了語(yǔ)義準(zhǔn)確性和圖像質(zhì)量之間那種經(jīng)典的此消彼長(zhǎng)關(guān)系。

與此同時(shí)，在復(fù)雜 prompt 下，傳統(tǒng)方法容易出現(xiàn)空間關(guān)系錯(cuò)位、結(jié)構(gòu)混亂、文字模糊或錯(cuò)誤等問(wèn)題，而 SMC-CFG 在空間關(guān)系、細(xì)節(jié)穩(wěn)定性和文字清晰度上都更好，這說(shuō)明它不僅分?jǐn)?shù)更高，也確實(shí)提升了模型對(duì)復(fù)雜結(jié)構(gòu)和關(guān)系的理解能力。

研究團(tuán)隊(duì)還做了消融實(shí)驗(yàn)，分析兩個(gè)關(guān)鍵參數(shù)的作用。其中，λ 控制收斂方向，k 控制糾正力度。實(shí)驗(yàn)發(fā)現(xiàn)，λ 過(guò)小或過(guò)大都會(huì)讓系統(tǒng)偏離更理想的穩(wěn)定軌道，而 k 過(guò)小會(huì)讓收斂變慢，語(yǔ)義表現(xiàn)偏弱，k 過(guò)大又會(huì)引發(fā)震蕩，讓畫(huà)面顯得不自然。

綜合來(lái)看，最佳狀態(tài)對(duì)應(yīng)的是中等 λ 加上適中的 k，在這種組合下，系統(tǒng)能夠同時(shí)實(shí)現(xiàn)穩(wěn)定、快速和精準(zhǔn)。更深一層地說(shuō)，這部分結(jié)果說(shuō)明 SMC-CFG 的優(yōu)勢(shì)不是偶然調(diào)參得到的，而是符合控制系統(tǒng)里很典型的規(guī)律，也就是穩(wěn)定性和響應(yīng)速度之間需要找到平衡。雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))

并非簡(jiǎn)單跑分，而是一種新的控制邏輯

在實(shí)驗(yàn)經(jīng)過(guò)方面，研究人員并不是簡(jiǎn)單進(jìn)行指標(biāo)對(duì)比，而是圍繞一個(gè)明確的核心假設(shè)展開(kāi)，也就是 CFG 的問(wèn)題本質(zhì)上來(lái)源于線性控制方式本身，因此需要通過(guò)新的控制機(jī)制來(lái)驗(yàn)證是否能夠系統(tǒng)性改進(jìn)這一問(wèn)題。

基于這一前提，整個(gè)實(shí)驗(yàn)設(shè)計(jì)圍繞三個(gè)關(guān)鍵方向推進(jìn)。首先是穩(wěn)定性驗(yàn)證，研究人員通過(guò)在高 guidance scale 條件下進(jìn)行測(cè)試，因?yàn)檫@一設(shè)置會(huì)放大 CFG 的不穩(wěn)定問(wèn)題，如果方法在這種情況下仍然保持穩(wěn)定，就能夠說(shuō)明控制機(jī)制本身更加魯棒。

其次是準(zhǔn)確性驗(yàn)證，通過(guò)引入語(yǔ)義指標(biāo)并結(jié)合復(fù)雜 prompt 場(chǎng)景，例如包含空間關(guān)系、多物體關(guān)系或細(xì)粒度描述的輸入，來(lái)檢驗(yàn)生成結(jié)果是否真正理解文本內(nèi)容，而不是僅僅在簡(jiǎn)單場(chǎng)景下表現(xiàn)良好。

最后是對(duì)真實(shí)感的評(píng)估，通過(guò) FID 和多種人類偏好相關(guān)指標(biāo)來(lái)判斷生成圖像是否接近真實(shí)分布，同時(shí)是否符合人類審美和直覺(jué)判斷。從整體邏輯來(lái)看，這一系列實(shí)驗(yàn)并不是在比較不同模型誰(shuí)更強(qiáng)，而是在驗(yàn)證一種控制系統(tǒng)是否能夠更有效地引導(dǎo)生成過(guò)程。

在模型選擇上，研究團(tuán)隊(duì)刻意選用了 SD3.5、Flux 和 Qwen-Image 三種具有明顯差異的模型。這些模型不僅在參數(shù)規(guī)模上從中等到超大存在明顯跨度，而且在具體架構(gòu)上也有所不同，但都屬于 flow-matching diffusion 這一技術(shù)路線。

這樣的選擇使實(shí)驗(yàn)?zāi)軌蚋采w不同復(fù)雜度和不同表達(dá)能力的生成系統(tǒng)，從而檢驗(yàn)方法是否具備跨模型的通用性。如果一種方法只在單一模型上有效，很可能只是針對(duì)特定結(jié)構(gòu)進(jìn)行了適配，而在多模型上都能保持提升，則更能說(shuō)明其改進(jìn)具有普適意義。

在評(píng)價(jià)體系的設(shè)計(jì)上，研究人員采用了分層結(jié)構(gòu)來(lái)避免單一指標(biāo)帶來(lái)的偏差。第一層關(guān)注分布層面，通過(guò) FID 衡量生成圖像與真實(shí)數(shù)據(jù)分布之間的距離，從而反映整體圖像質(zhì)量和真實(shí)性。

第二層關(guān)注語(yǔ)義層面，通過(guò) CLIP 等指標(biāo)評(píng)估圖像內(nèi)容與文本之間的一致性，這一層主要反映模型是否正確理解輸入語(yǔ)義。第三層則引入人類偏好相關(guān)指標(biāo)，用于評(píng)估生成結(jié)果在視覺(jué)上是否自然、是否具有審美價(jià)值以及是否符合人類直覺(jué)。

這三層從統(tǒng)計(jì)分布、語(yǔ)義匹配和主觀感受三個(gè)角度共同約束模型表現(xiàn)，可以有效避免模型在某一指標(biāo)上表現(xiàn)突出但整體效果不佳的問(wèn)題。

研究團(tuán)隊(duì)還通過(guò)消融實(shí)驗(yàn)對(duì)方法內(nèi)部機(jī)制進(jìn)行了進(jìn)一步分析。由于 SMC-CFG 引入了滑模面作為控制目標(biāo)，并通過(guò) switching 控制實(shí)現(xiàn)非線性反饋，這些設(shè)計(jì)都可能影響系統(tǒng)的穩(wěn)定性和收斂行為，因此需要單獨(dú)驗(yàn)證各個(gè)組成部分的作用。

通過(guò)調(diào)整關(guān)鍵參數(shù)，可以觀察到系統(tǒng)在收斂速度、穩(wěn)定性以及生成效果之間的變化關(guān)系，從而判斷性能提升是否確實(shí)來(lái)源于控制機(jī)制本身，而不是偶然的參數(shù)組合。這一步對(duì)于證明方法的可靠性非常關(guān)鍵，因?yàn)橹挥性诓煌O(shè)置下仍然表現(xiàn)出一致規(guī)律，才能說(shuō)明設(shè)計(jì)具有理論支撐。

綜合來(lái)看，這一系列實(shí)驗(yàn)構(gòu)成了一個(gè)清晰的驗(yàn)證邏輯，也就是從線性控制到非線性控制的轉(zhuǎn)變所帶來(lái)的影響。傳統(tǒng) CFG 作為線性控制方式，在復(fù)雜生成過(guò)程中容易引發(fā)不穩(wěn)定行為，而引入滑?？刂坪?，系統(tǒng)能夠更穩(wěn)定地收斂到目標(biāo)狀態(tài)。

在這種更穩(wěn)定的動(dòng)態(tài)過(guò)程中，語(yǔ)義信息能夠更有效地注入，同時(shí)圖像質(zhì)量不會(huì)受到明顯破壞，因此最終表現(xiàn)為語(yǔ)義對(duì)齊更好且圖像質(zhì)量更高。整個(gè)實(shí)驗(yàn)過(guò)程實(shí)際上是在逐步驗(yàn)證這一因果鏈條，從而證明新的控制機(jī)制確實(shí)能夠從根本上改進(jìn)生成過(guò)程。

不是改進(jìn) CFG，而是重寫(xiě) CFG

這項(xiàng)研究并不只是說(shuō)明研究提出了一種更強(qiáng)的方法，更重要的是，它改變了人們理解圖像生成模型的方式。過(guò)去，CFG 更像是一種經(jīng)驗(yàn)性的調(diào)節(jié)手段，很多時(shí)候只能靠不斷試參數(shù)來(lái)找平衡，知道它有用，但很難解釋為什么有時(shí)有效、有時(shí)會(huì)失控。雷峰網(wǎng)

研究團(tuán)隊(duì)把這個(gè)問(wèn)題提升成了控制問(wèn)題，也就是把條件預(yù)測(cè)和無(wú)條件預(yù)測(cè)之間的差異看成誤差信號(hào)，把 guidance 看成控制輸入，把 diffusion flow 看成一個(gè)動(dòng)態(tài)系統(tǒng)。這樣一來(lái)，后續(xù)研究就不再只是反復(fù)調(diào) guidance，而是可以像設(shè)計(jì)控制系統(tǒng)一樣，去分析穩(wěn)定性、收斂性和魯棒性，從經(jīng)驗(yàn)技巧走向系統(tǒng)理論。

研究還有一個(gè)很重要的意義，就是把 CFG 為什么會(huì)失敗這件事講清楚了。很多人都知道，guidance scale 一旦調(diào)高，模型雖然會(huì)更聽(tīng) prompt 的話，但圖像也更容易崩，出現(xiàn)顏色不自然、結(jié)構(gòu)扭曲、細(xì)節(jié)變壞的問(wèn)題。

研究人員說(shuō)明，根本原因在于 CFG 本質(zhì)上是在做線性誤差放大，而 diffusion 本身卻是一個(gè)非線性系統(tǒng)，所以一旦放大過(guò)頭，就容易出現(xiàn)振蕩和發(fā)散。也正因?yàn)槿绱耍芯繄F(tuán)隊(duì)引入了滑模控制這種非線性控制方法，讓系統(tǒng)在復(fù)雜情況下也能被拉回更穩(wěn)定的軌道。

這個(gè)突破的意義在于，它說(shuō)明 diffusion guidance 本質(zhì)上不是一個(gè)簡(jiǎn)單調(diào)權(quán)重的問(wèn)題，而是一個(gè)需要用非線性控制來(lái)處理的問(wèn)題。

對(duì)普通人來(lái)說(shuō)，這項(xiàng)研究的影響也很直接。用戶在使用 AI 繪圖工具時(shí)，最關(guān)心的不是背后的理論，而是輸入一句話之后，結(jié)果能不能穩(wěn)定、能不能少翻車、能不能更接近自己的想法。更穩(wěn)定的 guidance 機(jī)制意味著，以后生成復(fù)雜畫(huà)面時(shí)，空間關(guān)系錯(cuò)亂、文字錯(cuò)誤、結(jié)構(gòu)崩壞這些問(wèn)題會(huì)更少，用戶不需要為了得到一張能用的圖反復(fù)嘗試很多次。

對(duì)于設(shè)計(jì)師、自媒體創(chuàng)作者、電商運(yùn)營(yíng)等人來(lái)說(shuō)，這會(huì)直接降低試錯(cuò)成本，提高出圖效率。更長(zhǎng)遠(yuǎn)地看，這項(xiàng)研究的價(jià)值就在于，它推動(dòng)文生圖模型從偶爾驚艷但不穩(wěn)定，逐漸走向真正可靠、可以進(jìn)入日常工作和生活的工具。

CFG-Ctrl 背后的科研工作者

論文一作為汪晗陽(yáng)，現(xiàn)為清華大學(xué)電子工程系碩士一年級(jí)學(xué)生，本科畢業(yè)于清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系，2025 年獲得工學(xué)學(xué)士學(xué)位，師從段岳圻，研究方向集中在 3D 計(jì)算機(jī)視覺(jué)、視頻生成和 AIGC。

相關(guān)學(xué)術(shù)成果發(fā)表于 CVPR、ICCV、NeurIPS、ECCV、TIP 和 TPAMI 等重要會(huì)議與期刊，內(nèi)容涉及稀疏視角 3D 重建、3D 生成中的人類偏好對(duì)齊、語(yǔ)言嵌入場(chǎng)景重建、視頻生成測(cè)試時(shí)擴(kuò)展、物理屬性學(xué)習(xí)，以及從單張圖像生成高質(zhì)量 3D 網(wǎng)格等方向。

論文的通訊作者為段岳圻，他是清華大學(xué)電子工程系教研系列副教授，博士生導(dǎo)師。研究方向?yàn)橛?jì)算機(jī)視覺(jué)、模式識(shí)別。2014 年和 2019 年在清華大學(xué)自動(dòng)化系分別獲得工學(xué)學(xué)士和博士學(xué)位，2019 至 2021 年在斯坦福大學(xué)計(jì)算機(jī)系擔(dān)任博士后研究員，合作導(dǎo)師為美國(guó)三院院士Leonidas J. Guibas教授。

他以第一/通訊作者發(fā)表計(jì)算機(jī)視覺(jué)與模式識(shí)別領(lǐng)域 IEEE匯 刊和 CCF-A 類會(huì)議論文 40 余篇，以通訊作者獲 2024 年 ICME 最佳論文提名。

段岳圻入選中國(guó)科協(xié)青年人才托舉工程項(xiàng)目，獲 2025 年中國(guó)電子學(xué)會(huì)技術(shù)發(fā)明一等獎(jiǎng)、2024 年中國(guó)電子學(xué)會(huì)自然科學(xué)一等獎(jiǎng)、2024 年公安部科學(xué)技術(shù)一等獎(jiǎng)。

擔(dān)任IEEE TCSVT期刊編委，CVPR、ICCV、ECCV、ICML、ICLR等國(guó)際會(huì)議領(lǐng)域主席，中國(guó)計(jì)算機(jī)學(xué)會(huì)計(jì)算機(jī)視覺(jué)、人工智能與模式識(shí)別、多媒體技術(shù)專委會(huì)執(zhí)行委員。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。