來(lái)源：公眾號(hào)“遙感與深度學(xué)習(xí)“

原文鏈接：https://mp.weixin.qq.com/s/ojm6yRWRURFIL1UlD9ZwPw?scene=1&click_id=138

題目：Prompt-Free Universal Region Proposal Network
會(huì)議：The IEEE/CVF Conference on Computer Vision and Pattern Recognition 2026
論文： https://arxiv.org/abs/2603.17554
數(shù)據(jù)： CD-FSOD benchmark、ODinW13 benchmark，共19個(gè)數(shù)據(jù)集
代碼： https://github.com/tangqh03/PF-RPN
年份： 2026
單位： 南京大學(xué)、中國(guó)科學(xué)技術(shù)大學(xué)

CVPR2026 遙感AI方向合集：CVPR2026

創(chuàng)新點(diǎn)

• 提出無(wú)需任何文本或視覺(jué)提示的通用區(qū)域候選網(wǎng)絡(luò)PF-RPN，通過(guò)可學(xué)習(xí)視覺(jué)嵌入替代文本嵌入實(shí)現(xiàn)開(kāi)放世界目標(biāo)定位
• 設(shè)計(jì)稀疏圖像感知適配器（SIA），利用混合專家機(jī)制自適應(yīng)融合多層次視覺(jué)特征以初始化和更新可學(xué)習(xí)嵌入
• 提出級(jí)聯(lián)自提示模塊（CSP），通過(guò)深到淺的迭代精化機(jī)制逐步擴(kuò)展目標(biāo)區(qū)域激活、抑制背景噪聲
• 設(shè)計(jì)中心性引導(dǎo)查詢選擇模塊（CG-QS），利用中心性評(píng)分優(yōu)先選取靠近目標(biāo)中心的查詢以提升候選框質(zhì)量

背景

現(xiàn)有目標(biāo)檢測(cè)中的區(qū)域候選網(wǎng)絡(luò)（RPN）在面對(duì)未見(jiàn)域時(shí)泛化能力不足，難以識(shí)別未知類別目標(biāo)。開(kāi)放詞匯目標(biāo)檢測(cè)（OVD）方法雖具備一定泛化能力，但通常依賴類別名稱或樣例圖像作為提示輸入，在工業(yè)缺陷檢測(cè)、水下目標(biāo)檢測(cè)等實(shí)際場(chǎng)景中提示信息往往不可獲取，限制了其靈活性。

部分無(wú)提示OVD方法嘗試借助生成式視覺(jué)語(yǔ)言大模型（VLM）自動(dòng)生成描述以消除手動(dòng)提示的依賴，但此類方法引入了顯著的內(nèi)存和推理延遲開(kāi)銷。因此，亟需一種高效的區(qū)域候選網(wǎng)絡(luò)，能夠在無(wú)任何外部提示的條件下跨域泛化，直接應(yīng)用于多種下游檢測(cè)任務(wù)。

數(shù)據(jù)

CD-FSOD Benchmark

• 包含六個(gè)具有顯著域偏移的跨域數(shù)據(jù)集
• ArTaxOr：昆蟲(chóng)圖像數(shù)據(jù)集
• Clipart1k：手繪卡通圖像數(shù)據(jù)集
• DIOR：遙感圖像數(shù)據(jù)集
• DeepFish：水下魚(yú)類圖像數(shù)據(jù)集
• NEU-DET：工業(yè)缺陷圖像數(shù)據(jù)集
• UODD：海洋生物圖像數(shù)據(jù)集

ODinW13 Benchmark

• 包含13個(gè)來(lái)自多樣化場(chǎng)景的數(shù)據(jù)集
• 涵蓋野生動(dòng)物攝影、家用物品、航拍圖像等多種應(yīng)用領(lǐng)域
• 用于評(píng)估模型在多樣真實(shí)場(chǎng)景下的跨域泛化能力

訓(xùn)練數(shù)據(jù)

• 使用MS COCO數(shù)據(jù)集的5%（80類）進(jìn)行檢測(cè)數(shù)據(jù)訓(xùn)練
• 使用ImageNet數(shù)據(jù)集的5%（1000類）補(bǔ)充分類數(shù)據(jù)，以緩解圖像編碼器的域偏移偏差

方法

PF-RPN總體框架

PF-RPN基于Grounding DINO構(gòu)建，以可學(xué)習(xí)嵌入替代文本嵌入，通過(guò)純視覺(jué)特征生成目標(biāo)候選框，無(wú)需任何文本或圖像提示。圖像編碼器提取多層次特征圖后，依次經(jīng)過(guò)SIA模塊、CSP模塊和CG-QS模塊，最終輸出高質(zhì)量目標(biāo)候選框。

稀疏圖像感知適配器（SIA）

• 使用混合專家（MoE）路由機(jī)制
• 對(duì)各層特征圖進(jìn)行全局平均池化后，通過(guò)輕量MLP路由器預(yù)測(cè)各層重要性權(quán)重
• 自適應(yīng)選取Top-k（默認(rèn)k=2）最具信息量的特征層，抑制冗余噪聲
• 利用交叉注意力機(jī)制將選中層的全局與局部特征融合至可學(xué)習(xí)嵌入中，使其獲得粗粒度與細(xì)粒度的視覺(jué)語(yǔ)義表示

級(jí)聯(lián)自提示模塊（CSP）

• 從深層到淺層迭代精化可學(xué)習(xí)嵌入
• 在每一層計(jì)算當(dāng)前嵌入與視覺(jué)特征圖的余弦相似度，生成目標(biāo)區(qū)域掩碼
• 通過(guò)掩碼平均池化將目標(biāo)內(nèi)部特征累積更新至嵌入中
• 默認(rèn)迭代3次，在精度與效率之間取得最優(yōu)平衡，引入的推理延遲極小

中心性引導(dǎo)查詢選擇（CG-QS）

• 使用輕量MLP作為中心性評(píng)分網(wǎng)絡(luò)，為每個(gè)查詢預(yù)測(cè)其靠近目標(biāo)中心的概率
• 訓(xùn)練時(shí)以查詢點(diǎn)到真實(shí)框四條邊距離的幾何均值作為監(jiān)督信號(hào)
• 推理時(shí)將中心性評(píng)分與分類評(píng)分結(jié)合，優(yōu)先選取靠近目標(biāo)中心的高質(zhì)量查詢

目標(biāo)損失函數(shù)

• 聯(lián)合優(yōu)化回歸損失（L1+GIoU）、對(duì)比分類損失、路由負(fù)載均衡損失和中心性損失
• 通過(guò)超參數(shù)λ控制中心性損失權(quán)重（默認(rèn)λ=5），避免其主導(dǎo)優(yōu)化過(guò)程影響回歸性能

結(jié)果與分析

PF-RPN在CD-FSOD和ODinW13共19個(gè)跨域數(shù)據(jù)集上均顯著超越現(xiàn)有OVD模型、傳統(tǒng)RPN及多模態(tài)大語(yǔ)言模型，展現(xiàn)出強(qiáng)大的零樣本跨域泛化能力。此外，與同類無(wú)提示方法相比，PF-RPN在大幅提升檢測(cè)性能的同時(shí)，推理速度和顯存占用均具有明顯優(yōu)勢(shì)，具備更高的實(shí)際部署價(jià)值。在遙感場(chǎng)景下，PF-RPN在DIOR數(shù)據(jù)集上同樣取得了最優(yōu)性能，顯著領(lǐng)先于GLIP、YOLOE、YOLOWorld等對(duì)比方法，驗(yàn)證了其在遙感圖像目標(biāo)定位任務(wù)中的有效性。