仅用于站内搜索，没有排版格式，具体信息请跳转上方微信公众号内链接
以下文章来源于微信公众号：AI缝合术
作者：AI缝合术
本文仅用于学术分享，如有侵权，请联系后台作删文处理
导读
小目标检测难度大，现有FPN缺乏高频与空间感知能力。华中科技大学提出HS-FPN结合高频感知与空间依赖模块，显著提升小目标检测效果。
🔥🔥🔥AAAI2025⭐⭐⭐
一、论文信息
1
所属单位：华中科技大学
核心速览：本文提出了一种新型的高频率与空间感知特征金字塔网络（HS-FPN），通过设计高频感知模块（HFP）和空间依赖感知模块（SDP），显著提升了小目标检测的性能。
二、论文概要
Highlight
图7：FPN中逐步添加HFP和SDP后P2层级特征的可视化效果
图17:DOTAmini10的可视化结果。第一和第三行是级联R-CNN与FPN的结果第二和第四行是HS-FPN级联R-CNN的结果。图中绿色、蓝色和红色的方框捐赠真阳性（TP）、假阳性（FP）和假阴性（FN）预测。放大查看更多细节。
1. 研究背景:
研究问题:小目标检测（TinyObjectDetection,TOD）是通用目标检测的一个子任务，专注于检测像素尺寸小于16×16的小目标。TOD在交通标志检测、场景监控、无人机分析、行人检测、自动驾驶和海上救援等场景中具有重要作用。然而，尽管深度学习推动了许多优秀的检测框架在常规尺寸目标上取得显著性能，但在小目标检测上的表现却大幅下降。这主要是由于小目标的可用特征有限、易受干扰，且通用网络架构未能充分关注小目标特征。此外，当前大视觉模型的研究多集中在通用COCO数据集上，未对小目标进行额外优化，导致小目标检测逐渐成为计算机视觉领域的挑战性方向。
研究难点:小目标检测面临的主要挑战包括：（1）小目标的可用特征非常有限。由于像素面积较小，骨干网络频繁的下采样操作不断压缩小目标的特征尺寸，最终在特征图中仅保留少量像素表征，难以支持精确检测和定位。（2）小目标缺乏网络注意力。其特征响应较弱且易受干扰，但现有的特征金字塔网络（FPN）对各层特征采用统一处理方式（如1×1卷积降维、3×3卷积融合），未对小目标特征提供特殊处理。（3）FPN缺乏空间感知能力。FPN通过逐像素相加的方式合并上下层特征，容易因递归上采样导致小目标特征错位，无法有效捕捉小目标的空间依赖关系。
文献综述：传统方法常基于频域技术检测小目标，例如使用小波变换分离图像的低频和高频成分，并通过阈值处理高频成分来检测小目标。低频成分通常表示图像的整体轮廓和大面积平滑区域，而小目标多表现为细节和边缘，对应于图像频谱中的高频成分。通过离散余弦变换（DCT）和高通滤波器过滤低频成分，可以突出小目标。信号杂波比（SCR）被用来量化这种过滤的有效性，SCR值越高表明目标越显著。相关研究表明，适度过滤低频成分可显著提高SCR值，使小目标更加突出。此外，现有研究还指出，FPN虽然通过多尺度特征融合显著提升了目标检测性能，但在小目标检测上仍存在局限性，需进一步增强其高频感知和空间感知能力。
2. 本文贡献:
高频率感知模块：为了增强小目标的特征，设计了高频率感知模块（HFP）。该模块首先通过预定义的高通滤波器提取输入特征图的高频响应。此高频响应分别用于通道路径和空间路径，以丰富和突出小目标的特征。通道路径根据高频响应动态分配权重给每个通道，突出包含更多小目标特征的通道。空间路径则基于高频响应为原始特征图中的每个像素分配权重，生成空间掩码，引导模型关注具有小目标特征的区域。（本推文讲解重点）
空间依赖感知模块：设计了空间依赖感知模块（SDP），操作于相邻上层和下层特征图之间。SDP通过像素级交叉注意力机制计算相似性并学习相邻像素在上下层特征图之间的空间依赖关系，从而丰富小目标的特征。具体来说，SDP将Ci和Pi+1作为输入，计算Query、Key和Value矩阵，并分为多个特征块进行处理，最后利用这些空间依赖关系来加权每个特征点，生成富含空间依赖性和高级语义的特征块。
三、创新方法
1
一、HS-FPN整体结构
图2：HS-FPN整体结构及横向连接细节。HFP表示高频感知模块，SDP表示空间依赖感知模块。为便于可视化展示，图中省略了卷积层。需注意P5层级未出现SDP模块。
HS-FPN采用与FPN相似的结构，从骨干网络提取四个特征图后，通过1×1卷积将其通道维度压缩至256。这些降维后的特征图命名为{C2,C3,C4,C5}，其相对于输入图像的步长分别为{4,8,16,32}像素。特征金字塔{P2,P3,P4,P5}由HS-FPN中的自上而下路径生成。HS-FPN的每个横向连接包含两个模块：高频感知模块（HFP）和空间依赖感知模块（SDP）。其中HFP通过生成高频响应来增强Ci中微小目标的信息，而SDP则以{Ci,Pi+1}为输入，采用像素级交叉注意力机制学习{Ci,Pi+1}中像素间的关系，进而利用有价值的空间依赖性来增强微小目标的特征。需特别说明的是，HS-FPN所有横向连接均包含HFP模块，但仅{P2,P3,P4}层级包含SDP模块。最终，HS-FPN各层输出特征通过独立的3×3卷积从{P2,P3,P4,P5}获取，用于后续检测任务。
二、高频率感知模块（HFP）
图3：HFP的设计理念，由高频特征生成器、通道路径（CP）和空间路径（SP）组成。请注意虚线框内的高频特征提取器仅在{P2,P3}层级实现，图中所示两个高频特征完全相同。·表示哈达玛积，c表示特征拼接，s代表逐像素求和。σ指代ReLU激活函数。
1. 输入特征处理：假设输入特征图Ci的大小为R(C×Hi×Wi)，HFP首先对Ci应用一个高通滤波器，以提取高频响应Fi。这个高频响应Fi与输入特征图Ci具有相同的大小。
2. 通道路径（ChannelPath,CP）：
对高频响应Fi进行全局平均池化（GAP）和全局最大池化（GMP），分别得到FiGAP和FiGMP。
将Fi池化到R(C×k×k)而不是直接池化到最终的权重大小，以避免信息损失。在本文中，k通常设置为16。
对FiGAP和FiGMP应用ReLU函数以保留正值，并沿着每个通道进行求和操作，生成两个一维特征向量。
这些向量通过独立的1×1组卷积生成不同的通道得分，然后将这些得分连接并通过另一个1×1组卷积生成最终的通道注意力权重uCP。
通道路径动态地为原始特征图Ci的每个通道分配权重，突出显示包含更多小目标特征的通道。
3. 空间路径（SpatialPath,SP）：
使用1×1卷积聚合Fi的通道信息，生成空间注意力掩码uSP。
空间路径基于高频响应Fi生成像素级权重，生成的空间掩码引导对具有小目标特征的区域的关注。
4. 输出生成：将通道路径和空间路径生成的权重分别沿空间和通道维度广播，并与输入特征图Ci元素相乘。然后将CP和SP的结果相加，并通过3×3卷积生成HFP的输出Ci_HFP。
四、实验分析
1. 数据集与评价指标：实验在两个TOD数据集上进行，主要实验在AI-TOD数据集上进行，该数据集包含8类共计700,621个实例，平均绝对实例大小为12. 8像素。此外，还构建了一个名为DOTAmini10的子集，包含410,305个实例，其中17. 3%的实例小于16像素，38. 5%小于32像素。所有实验指标均遵循AI-TOD基准。
2. 实验设置：所有实验基于MMDetection和PyTorch实现，在两块NVIDIA3080TiGPU上进行训练和评估。检测器使用随机梯度下降（SGD）优化器进行12个周期的训练，动量为0. 9，权重衰减为0. 0001。初始学习率对于两阶段模型如FasterR-CNN和单阶段模型如RetinaNet分别为0. 005和0.001，并在第8和第11个周期时衰减。基本锚点大小设置为2。
3. 消融实验：分析了HS-FPN中每个组件对AI-TOD测试子集的影响。结果表明，仅添加HFP到FPN可以带来2. 2AP点的提升，APt和APs分别提高2. 6点和2.0点。CP和SP单独添加到FPN时，AP均提高1. 4点，结合使用时AP提高2. 2点，比单独使用SP或CP高出0. 8点。
4. 对比实验：在AI-TOD和DOTAmini10数据集上评估HS-FPN，几乎所有基线模型在AP上都有显著提升。即使使用更强大的骨干网络如ResNet101或轻量化网络如MobileNetV2，FasterR-CNN在AI-TOD上的AP仍分别提高了1. 7和1.9点。结合NWD和RLFA等先进方法优化标签分配进一步提升了HS-FPN的性能。
五、结论
1
研究发现：HS-FPN显著提升了小目标检测性能，特别是在复杂背景下的检测能力。通过引入高频率感知模块（HFP）和空间依赖感知模块（SDP），有效解决了当前FPN在小目标检测中的不足。实验结果表明，HS-FPN在多个数据集和模型架构上均表现出色。
研究意义：HS-FPN的成功应用为小目标检测提供了新的思路和方法，尤其在交通标志检测、场景监控、无人机分析等领域具有重要的实际应用价值。其结构简单且易于嵌入现有模型，为未来的研究和应用奠定了坚实的基础。
六、运行结果与即插即用代码
运行结果
欢迎加入《AI未来星球》，一起成长
扫描下方二维码即可加入~
真诚分享AI落地过程（AI商机->项目签约->算法开发->产品开发->实施运维）中的各方面经验和踩过的坑。
你可以获得什么？
1、大白之前花费10W+购买，AI行业各场景私有数据集下载，星球内倾情分享；2、AI行业研发、产品、商业落地问题咨询（目前AI公司创业中），都可获高质量解答，有效期一年，无限次提问，有问必答。3、定期邀请AI行业各类嘉宾分享，创业/商业等方面的经验！
帮助你解决遇到的实际问题，升职加薪！
大家一起加油！
