來源：公眾號“CV實驗室”

原文鏈接：https://mp.weixin.qq.com/s/65JSJhgEB_O_2epsG0pfIw?scene=1&click_id=51

在計算機視覺領域，目標追蹤（Visual Tracking）一直需要在“高精度”和“低功耗”之間尋找平衡。SNN（脈沖神經網絡）因其生物仿真特性和極高的能源效率被寄予厚望，但在處理復雜的RGB視覺追蹤任務時，往往難以兼顧精度。

今天介紹的這篇 CVPR 2026 論文 SpikeTrack，提出了一種全新的全脈沖驅動框架。它不僅在SNN追蹤器中達到了SOTA（目前最佳）水平，更在保證精度的前提下，將能耗降低至傳統(tǒng)ANN追蹤器的幾十分之一。

論文標題： SpikeTrack: A Spike-driven Framework for Efficient Visual Tracking

論文鏈接： https://arxiv.org/pdf/2602.23963

代碼倉庫： https://github.com/faicaiwawa/SpikeTrack (已開源)

01. 核心痛點與解決思路

現有的SNN追蹤框架主要面臨兩個問題：

1. 偽脈沖驅動：部分方法（如SiamSNN）雖然使用了脈沖神經元，但在計算過程中仍將脈沖解碼為連續(xù)值，沒有真正發(fā)揮SNN“稀疏計算”的低功耗優(yōu)勢。
2. 時空動力學利用不足：部分基于事件相機的方法沿用了ANN的“單流（One-stream）”架構，強行拼接模板與搜索區(qū)域，導致計算量巨大且忽略了SNN在時間維度上的記憶特性。

SpikeTrack 的解決方案：非對稱孿生架構

作者沒有照搬ANN的交互模式，而是設計了一種非對稱（Asymmetric）的設計：

• 模板分支（Template Branch）：利用多個時間步（Timesteps）擴展，充分利用神經元的時空動力學特性，提取高質量的目標特征。但這部分計算量大，因此只在初始化或模板更新時運行一次。
• 搜索分支（Search Branch）：處理每一幀的實時畫面，保持高效的單時間步（Single-timestep）推理。
• 單向信息流：信息只從“模板”流向“搜索”，搜索分支通過特定的模塊“讀取”模板信息，而不需要像傳統(tǒng)Transformer那樣進行復雜的雙向注意力計算。

02. 核心組件解析

SpikeTrack 的架構主要由三個部分組成：共享權重的脈沖主干網絡（Backbone）、用于信息交互的記憶檢索模塊（MRM）、以及預測頭。

1. 基礎神經元模型 (NI-LIF)

為了保證真正的脈沖驅動，論文采用了 NI-LIF (Normalized Integer Leaky Integrate-and-Fire) 神經元。它在推理時將膜電位轉換為整數脈沖，實現了稀疏的加法計算，替代了高能耗的浮點乘法。

其動力學方程如下：

其中， 是膜電位， 是輸出脈沖， 是可學習的衰減因子?？蓪W習的衰減因子允許網絡自適應地調節(jié)對歷史信息的遺忘程度。

2. 記憶檢索模塊 (Memory Retrieval Module, MRM)

這是SpikeTrack最核心的創(chuàng)新點。為了實現“模板”到“搜索”的高效信息傳遞，作者借鑒了大腦皮層（V1 L2/3區(qū)域）的神經推理機制：通過循環(huán)連接（Recurrent Connectivity）來完善感知。

在SpikeTrack中，模板特征被初始化為“記憶庫（Memory Bank）”。搜索分支在推理時，并不直接與模板拼接，而是通過MRM模塊去“查詢”記憶庫，逐步提取目標線索。

MRM 的工作流程包含三個階段的循環(huán)（Recurrent Process）：

1. 全局輪廓編碼：通過脈沖二值張量進行高效的點積運算，初步檢索目標。
2. 細節(jié)構建：利用特定的脈沖可分離卷積（SSConv）在時間維度上增強對細節(jié)的感知。
3. 反饋細化：通過殘差連接模擬大腦向高級視覺區(qū)域的反饋，更新查詢請求。

最終，通過多次循環(huán)檢索（實驗中1次循環(huán)效果最佳），搜索分支能精準地“想起來”目標長什么樣，并定位目標。

03. 實驗結果：能效與精度的雙重突破

1. 精度與能耗的權衡

在LaSOT數據集上，SpikeTrack展現了驚人的能效比。

• 對比 ANN：SpikeTrack-B（基礎版）在精度上超過了基于Transformer的 TransT（AUC 66.7% vs 64.9%），但能耗僅為 TransT 的 1/26。
• 對比 SNN：相比之前的 SpikeSiamFC++ 等SNN追蹤器，SpikeTrack在各項指標上均大幅領先。

2. 可視化分析

MRM模塊到底學到了什么？可視化結果顯示，隨著層級加深，網絡能夠從通過檢索記憶庫，在復雜的遮擋、背景干擾下，逐漸聚焦于目標物體。

04. 總結

SpikeTrack 的成功證明了 SNN 在復雜視覺任務中的潛力。其核心貢獻在于跳出了“一味模仿 ANN 架構”的誤區(qū)，結合了 SNN 特有的時空計算特性：

1. 非對稱設計：重模板初始化，輕實時搜索，大幅削減冗余計算。
2. 仿生記憶檢索：利用 MRM 模塊實現了高效的單向特征融合。

這項工作不僅刷新了 SNN 追蹤的 SOTA，也為在極低功耗設備（如微型無人機、邊緣計算芯片）上部署高精度視覺追蹤算法提供了切實可行的方案。