TGRS 2025 | 哈工大新突破:自适应感受野 + 跨尺度融合,红外小目标检测框架 ABRNet 刷新 SOTA
仅用于站内搜索,没有排版格式,具体信息请跳转上方微信公众号内链接
红外成像技术在航空航天、工业、医学和国防等领域有着广泛应用。然而,红外小目标通常仅由几个像素组成,缺乏明显的形状和纹理特征,且常常隐藏在复杂背景中,这使得单帧红外小目标(SIRST)检测面临巨大挑战。
传统的红外小目标检测方法主要依靠先验知识,如局部对比度增强、稀疏加低秩分解等,在理想背景条件下表现良好,但在复杂背景中误报率会上升。后来,许多研究人员将检测任务建模为语义分割问题,但这种方法需要高分辨率特征图,计算成本高,且手动标注难以达到像素级精度,会影响训练结果。近年来,虽然有学者尝试将检测任务建模为边界框回归问题,但由于对背景语义信息利用有限,网络性能在不同场景下容易受到影响。
ABRNet由YOLOv8主干网络、ARF模块、BC模块、CEF模块和动态平衡损失函数组成。YOLOv8作为无锚点模型,直接预测物体中心,减少了预测的边界框数量,加速了推理过程,更适合红外小目标检测。
自适应感受野(ARF)模块:为了适应不同背景下的红外小目标,ARF模块利用空间选择掩码选择不同感受野大小的特征图。它通过分割特征图构建残差,增强网络的非线性和表示能力。使用多个卷积核(3×3、5×5和7×7),较小的核捕捉细粒度局部细节,较大的核聚合更广泛的上下文信息。同时,通过堆叠卷积核扩大感受野,降低计算负担。
双向交叉(BC)模块:该模块改进了多尺度交叉轴注意力(MCA),将其嵌入到C2f模块中。通过在平行轴向注意力之间计算BC注意力,约束全局信息,更好地捕捉全面的上下文信息。引入sigmoid函数减轻异常值对网络计算的影响。
跨尺度特征编码融合(CEF)模块:
多尺度特征编码模块:选择前一个和后一个尺度的特征图进行编码,整合红外小目标的局部和全局特征信息,提高边界框回归的准确性。
跨尺度融合模块:利用跨尺度特征图之间的相关性,结合大尺度特征图的高维信息和小尺度特征图的细粒度信息。
特征金字塔构建:按照路径聚合网络(PAN)方法建立金字塔结构,增强不同尺度信息之间的交互,减轻语义差距。
将Focaler-IoU与CIoU相结合,得到Focaler-CIoU损失函数,使网络能够自适应调整学习重点,最小化边界框微小扰动导致的IoU显著变化。总体损失函数由回归损失(Focaler-CIoU和分布焦点损失(DFL))和分类损失(二元交叉熵)组成。
使用公共数据集NUAA-SIRST和NUDT-SIRST进行训练和测试,按5:2:3的比例划分为训练集、验证集和测试集。评估指标采用平均精度(AP),包括AP50和AP50:95。
将ABRNet与多种先进方法进行比较,定量结果显示边界框回归方法在AP50方面优于语义分割方法,ABRNet相对于其他边界框回归方法取得了进一步改进。定性结果通过可视化展示,在各种复杂场景中,ABRNet的检测结果最为精确,能够准确识别目标,减少漏检和误报。
在具有挑战性的NUDT-SIRST数据集上进行实验,ABRNet在AP50和AP50:95方面均取得了最佳性能,证明了其在不同场景下的鲁棒性和适用性。消融实验验证了ARF、BC、CEF组件和动态平衡损失函数的有效性。
使用SIRST-V2数据集进行误报抑制实验,结果表明ABRNet表现出最强的误报抑制能力,主要得益于网络对小目标全局和高级语义特征的提取和融合。
尽管ABRNet在红外小目标检测中表现优异,但红外小目标边界框的微小扰动会导致IoU发生显著变化,影响AP值的稳定性。未来的研究方向是设计一种对标注模糊具有鲁棒性的定位精度度量。
总的来说,这篇论文提出的ABRNet通过创新的模块设计和损失函数,有效地提高了红外小目标检测的精度和鲁棒性,为该领域的研究提供了新的思路和方法。相信在未来的研究中,会有更多的突破和改进。
下载1:Pytoch常用函数手册
在「深度学习爱好者」公众号后台回复:Pytorch常用函数手册,即可下载全网第一份Pytorch常用函数手册,涵盖Tensors介绍、基础函数介绍、数据处理函数、优化函数、CUDA编程、多线程处理等十四章章内容。
下载2:Python视觉实战项目52讲
在「小白学视觉」公众号后台回复:Python视觉实战项目,即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目,助力快速学校计算机视觉。
交流群
欢迎加入公众号读者群一起和同行交流,目前有SLAM、三维视觉驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群(以后会逐渐细分),请扫描下面微信号加群,备注:”昵称+学校/公司+研究方向“,例如:”张三+上海交大+视觉SLAM“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告,否则会请出群,谢谢理解~