當追蹤者和目標都在低空高速飛行，傳統的視覺(jué)追蹤算法還能跟得住嗎？

近日，來(lái)自云從科技、上海交通大學(xué)、香港科技大學(xué)（廣州）、中山大學(xué)、中國科學(xué)院信息工程研究所的聯(lián)合研究團隊發(fā)布了一項硬核工作——UAV-Anti-UAV。這是業(yè)界首個(gè)針對“空對空”（Air-to-Air）場(chǎng)景的百萬(wàn)級多模態(tài)反無(wú)人機視覺(jué)追蹤基準，并提出了基于Mamba的強力基線(xiàn)MambaSTS。MambaSTS在UAV-Anti-UAV基準的全部5個(gè)指標上均取得最佳的性能，這是云從科技在多模態(tài)大模型方面的又一次技術(shù)突破。面對雙重動(dòng)態(tài)干擾，現有的SOTA表現如何？讓我們一探究竟！

 01引言：從“上帝視角”到“空中纏斗”

在低空經(jīng)濟蓬勃發(fā)展的今天，無(wú)人機（UAV）的安全管控已成為全球關(guān)注的焦點(diǎn)。反無(wú)人機（Anti-UAV）技術(shù)應運而生。

然而，回顧現有的視覺(jué)追蹤研究，我們發(fā)現了一個(gè)明顯的任務(wù)盲區（Gap）：

l 傳統UAVTracking（空對地）：無(wú)人機處于“上帝視角”拍攝地面的車(chē)輛或行人，雖然相機在動(dòng)，但目標相對地面運動(dòng)平穩。

l 現有Anti-UAV（地對空）：地面固定的云臺/相機仰拍空中的無(wú)人機，觀(guān)察者幾乎靜止，缺乏運動(dòng)帶來(lái)的劇烈抖動(dòng)

如果是一架無(wú)人機在高速飛行中，去追蹤另一架試圖逃逸的敵對無(wú)人機呢？這種場(chǎng)景就像是電影里的空中纏斗（Dogfight）

圖1：直觀(guān)對比了Task1(UAVTracking)、Task2(Anti-UAV)和本文提出的Task3(UAV-Anti-UAV)。Task3中Observer和Target都在低空高速運動(dòng)。

這就是本文提出的UAV-Anti-UAV（空對空）任務(wù)。這是一個(gè)雙向動(dòng)態(tài)系統：追蹤者和目標都在低空高速運動(dòng)。這帶來(lái)了前所未有的挑戰：嚴重的雙重動(dòng)態(tài)干擾（Dual-dynamicdisturbances）、極速的尺度變化、強烈的運動(dòng)模糊以及頻繁的視角切換。

02數據集：首個(gè)百萬(wàn)級、多模態(tài)、全場(chǎng)景基準

為了攻克這一難題，研究團隊構建了首個(gè)大規?；鶞蕯祿?/span>UAV-Anti-UAVBenchmark。這不只是一個(gè)數據集，更是一個(gè)低空安全的標準測試床。

數據集由什么構成？

l 規模龐大：包含1,810個(gè)視頻序列，總幀數高達105萬(wàn)幀，總時(shí)長(cháng)近9.85小時(shí)。

l 機型豐富：涵蓋5大類(lèi)目標，包括固定翼、多旋翼、垂直起降（VTOL）、第一人稱(chēng)視角（FPV）無(wú)人機和無(wú)人直升機。

l 多模態(tài)標注：不僅有精細的邊界框（BoundingBox），還提供了自然語(yǔ)言描述（LanguagePrompts），支持視覺(jué)-語(yǔ)言追蹤研究。

l 細粒度屬性：標注了15種極具挑戰的屬性，如快速運動(dòng)（FM）、光照變化（IV）、相似干擾物（SD）等。

圖2：數據集中包含五種不同類(lèi)型的無(wú)人機目標（固定翼、FPV、多旋翼、垂直起降、無(wú)人直升機）以及對應的語(yǔ)言描述。

到底有多難？

相比于現有的數據集，UAV-Anti-UAV是“地獄難度”。

l 相對速度：該數據集的平均相對速度高達0.79，遠超現有的UAV123（0.46）和Anti-UAV（0.72）等數據集。

l 目標尺寸：包含大量微小目標（SmallObject），且由于距離變化，尺度變化（ScaleVariation）極其劇烈。

圖3：硬核數據證明該數據集在運動(dòng)強度上的獨特性。

03方法：MambaSTS——時(shí)空語(yǔ)義的完美融合

面對如此高難度的任務(wù)，傳統的Transformer由于計算復雜度高，難以處理超長(cháng)序列；而普通的CNN又缺乏全局感知能力。為此，作者提出了新基線(xiàn)：MambaSTS。

這是一個(gè)集成了空間（Spatial）、時(shí)間（Temporal）、語(yǔ)義（Semantic）學(xué)習的統一框架。其核心邏輯在于：利用Mamba（狀態(tài)空間模型）的線(xiàn)性復雜度優(yōu)勢來(lái)建立視頻級的長(cháng)期上下文。

圖4：模型主架構圖，展示了多模態(tài)輸入（圖像+文本）、STSMamba模塊以及層級化的特征提取過(guò)程。

核心創(chuàng )新點(diǎn)解讀：

混合架構(HybridArchitecture)：

1. 視覺(jué)端：利用分層視覺(jué)Transformer(HiViT)提取多尺度特征，捕捉空間細節。

2. 語(yǔ)言端：利用預訓練的LanguageMamba提取語(yǔ)義特征，引入文本先驗，幫助模型在模糊中“認出”目標。

時(shí)間Token傳播(TemporalTokenPropagation)：

這是本文的“殺手锏”。模型維護一個(gè)時(shí)間Token，像接力棒一樣在幀與幀之間傳遞。

利用Mamba的選擇性?huà)呙铏C制，將歷史幀中目標的軌跡演變和外觀(guān)變化壓縮進(jìn)這個(gè)Token中。這仿佛讓模型擁有了“視頻記憶”，即便目標被遮擋或模糊，也能基于記憶快速找回。

單向掃描機制(UnidirectionalScanning)：

不同于處理靜態(tài)圖像的VisionMamba(Vim)使用雙向掃描，MambaSTS針對視頻追蹤的因果特性（即當前狀態(tài)只取決于過(guò)去），改進(jìn)為單向掃描，更符合實(shí)時(shí)追蹤邏輯。

04實(shí)驗：50個(gè)追蹤器大亂斗，誰(shuí)是王者？

作者對50個(gè)現代深度追蹤算法進(jìn)行了全面評測，涵蓋了CNN、Transformer、Mamba以及多模態(tài)算法（如OSTrack,MixFormer,MambaTrack,CiteTracker等）。

總體戰況

l MambaSTS遙遙領(lǐng)先：在所有指標上均取得第一，AUC達到0.437，mACC達到0.443，比第二名高出6.6個(gè)百分點(diǎn)。

l 任務(wù)難度極大：即便是SOTA的MambaSTS，成功率也僅為40%出頭，而所有追蹤器的平均AUC僅為0.30左右。這說(shuō)明UAV-Anti-UAV領(lǐng)域仍是一片藍海，挑戰巨大！

圖5：AUC、Precision等指標的曲線(xiàn)圖，MambaSTS的曲線(xiàn)（最上方）直觀(guān)體現了其優(yōu)勢。

圖6：50個(gè)追蹤器的mACC排名散點(diǎn)圖，MambaSTS位于右上角，大幅領(lǐng)先。

屬性分析：哪些場(chǎng)景最難搞？

通過(guò)對15個(gè)屬性的細分測試，研究發(fā)現：

l MambaSTS的強項：在快速運動(dòng)(FM)、運動(dòng)模糊(MB)、小物體(SO)等屬性上表現穩健，得益于其強大的時(shí)序建模能力。

l 共同的弱點(diǎn)：在光照變化(IV)和全遮擋(FO)場(chǎng)景下，所有模型（包括MambaSTS）都表現掙扎，成功率低于0.15。這指明了未來(lái)的優(yōu)化方向。

圖7：具有代表性的屬性子圖（如FastMotion,MotionBlur,FullOcclusion）。

泛化能力驗證

除了在自家數據集上表現出色，MambaSTS在傳統的UAVTracking數據集（如UAV123,VisDrone）和地面Anti-UAV數據集上，同樣取得了SOTA性能。這證明了該架構并非“過(guò)擬合”，而是真正掌握了時(shí)空特征的精髓。

05總結與展望

UAV-Anti-UAV任務(wù)的提出，標志著(zhù)低空安全研究向實(shí)戰化邁出了重要一步。

l 新任務(wù)：填補了空對空動(dòng)態(tài)追蹤的空白。

l 新數據：百萬(wàn)級規模，多模態(tài)標注，為社區提供了標準測試床。

l 新基線(xiàn)：MambaSTS證明了狀態(tài)空間模型在長(cháng)序列動(dòng)態(tài)追蹤中的巨大潛力。

雖然MambaSTS表現出色，但距離解決全天候、全自主的空中攔截仍有距離（例如缺乏紅外/LiDAR數據，且目前為離線(xiàn)訓練）。挑戰已經(jīng)擺在面前，各位開(kāi)發(fā)者，你們準備好迎接“空戰”了嗎？

??開(kāi)源地址：

https://github.com/983632847/Awesome-Multimodal-Object-Tracking

l 參考論文：ChunhuiZhang,LiLiu,ZhipengZhang,YongWang,HaoWen,XiZhou,ShimingGe,YanfengWang.“HowFarareModernTrackersfromUAV-Anti-UAV?AMillion-ScaleBenchmarkandNewBaseline”,arXiv,2025.

立即下載：

https://arxiv.org/abs/2512.07385