CVPR25:自适应矩形卷积ARConv,即插即用!


CVPR25:自适应矩形卷积ARConv,即插即用!

仅用于站内搜索,没有排版格式,具体信息请跳转上方微信公众号内链接

论文题目:AdaptiveRectangularConvolutionforRemoteSensingPansharpening
论文地址:https ://arxiv. org/pdf/2503. 00467
代码地址:https ://github. com/WangXueyang-uestc/ARConv. git.
ARConv能够自适应地学习卷积核的高度和宽度,并根据学习到的尺度动态调整采样点的数量。这种自适应性使得ARConv能够更有效地捕捉图像中不同尺度物体的特征,尤其是在遥感图像中,物体的大小差异较大,如小汽车和大建筑物。
ARNet是基于ARConv构建的网络架构,专门针对遥感图像的pansharpening任务进行了优化。
ARConv通过动态调整卷积核的高度、宽度和采样点数量,能够针对图像中的不同物体自适应地调整特征提取过程。
本文提出了一种名为AdaptiveRectangularConvolution(ARConv)的新型卷积模块,用于遥感图像融合中的pansharpening任务。该模块能够动态学习卷积核的高度和宽度,并根据学习到的尺度动态调整采样点的数量,从而有效捕捉图像中不同尺度物体的特征。首先,通过两个子网络(共享特征提取器和独立的高度宽度学习器)预测卷积核的高度和宽度特征图。接着,计算高度和宽度特征图的平均值,根据这些平均值和预设的调节系数确定卷积核在垂直和水平方向上的采样点数量。然后,基于标准卷积的偏移矩阵和学习到的尺度矩阵,计算ARConv的偏移矩阵。最后,对采样图进行卷积操作,提取特征。为了增强空间适应性,引入仿射变换,将输出特征图与仿射变换矩阵相乘,并将结果与偏移向量相加,得到最终的输出特征图。
本图的上半部分展示了遥感图像pansharpening的整体流程,包括输入的低分辨率多光谱图像(LRMS)和高分辨率全色图像(PAN),以及输出的高分辨率多光谱图像(HRMS)。下半部分则详细介绍了ARConv的两个主要优势:一是其卷积核能够根据目标大小自适应调整采样位置;二是采样点的数量可以根据特征图中的不同位置动态确定。
本图展示了四种不同类型的卷积核的工作原理。(a)标准卷积,其采样位置固定在正方形窗口内;(b)可变形卷积,能够通过学习偏移量来调整每个采样点的位置,以提取不同形状物体的特征;(c)多尺度卷积,可以在同一特征图中提取不同尺度的信息;(d)本文提出的ARConv,它不仅能够自适应调整采样位置,还能根据学习到的尺度动态改变采样点的数量。
本图详细展示了ARConv模块的整体架构,包括四个主要部分。第一部分是卷积核高度和宽度的学习过程;第二部分是采样点数量的选择过程;第三部分是采样图S的生成过程,以网格中心位置p0为例进行了说明;第四部分是ARConv的卷积操作过程。图中还展示了如何通过两个子网络预测仿射变换的矩阵M和B,以及最终输出特征图的计算公式。
本表提供了在WV3数据集上,使用20个低分辨率和20个高分辨率样本进行性能评估的结果。该表详细比较了本文提出的ARNet方法与其他多种先进pansharpening方法的性能。从表中可以看出,ARNet在多个指标上均取得了最佳或接近最佳的性能。例如,在低分辨率评估指标中,ARNet的SAM为2. 885,ERGAS为2. 139,Q8为0. 921,这些结果均优于其他方法。在高分辨率评估指标中,ARNet的Dλ为0. 0146,Ds为0. 0279,HQNR为0. 958,同样表现出色。表中的结果表明,ARNet通过其自适应矩形卷积模块ARConv,能够有效地捕捉不同尺度物体的特征,并在pansharpening任务中取得了显著的性能提升。这些结果不仅验证了ARConv的有效性,还展示了ARNet在处理遥感图像融合任务中的强大能力。
–END–
最后对卷积神经网络创新感兴趣的可公众号后台私信‘加群’或者扫描下方👇二维码进入卷积神经网络CNN交流群!
关注“学姐带你玩AI”公众号,回复“CNN创新”
领取7大类CNN创新论文合集+开源代码
往期推荐:
(CVPR2025)卷积网络复活!港大最新改进版CNN涨点起飞!
CNN+Transformer+Mamba,多热点联合=不撞车+高分保证√
2025年CNN与Transformer融合的创新点思路
天选思路怎能不会!小波变换+CNN完美融合,最新idea发了CV顶会!
CNN-LSTM用于时间序列预测,发二区5分+没问题!
ACCEPT
据说点👇推荐♡的都Accept了!


文章作者: ZejunCao
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 ZejunCao !
  目录