仅用于站内搜索，没有排版格式，具体信息请跳转上方微信公众号内链接
点击上方“小白学视觉”，选择加\“星标\“或“置顶”
重磅干货，第一时间送达
论文题目：AdaptiveRectangularConvolutionforRemoteSensingPansharpening
论文地址：https ://arxiv. org/pdf/2503. 00467
代码地址：https ://github. com/WangXueyang-uestc/ARConv. git
传统的卷积操作中，卷积核的形状是固定的（通常是正方形），而ARConv能够自适应地学习卷积核的高度和宽度，使其能够根据图像中不同物体的大小动态调整卷积核的形状。这种灵活性使得卷积操作能够更好地适应遥感图像中物体的多样性和尺度变化。
ARNet是基于U-Net架构设计的，将标准卷积层替换为ARConv模块。这种设计充分利用了U-Net在图像分割任务中的优势，同时通过ARConv的动态调整能力，使得网络能够更有效地处理遥感图像的多尺度特征。
作者在多个数据集（包括WorldView3、QuickBird和GaoFen-2）上进行了广泛的实验，验证了ARConv和ARNet的有效性。实验结果表明，ARNet在多个指标上均优于现有的传统方法和基于深度学习的方法。
本文提出了一种名为AdaptiveRectangularConvolution(ARConv)的创新卷积模块，并基于该模块构建了一个用于遥感图像融合（Pansharpening）的网络架构ARNet。ARConv的设计旨在克服传统卷积操作在遥感图像特征提取中的局限性。遥感图像中物体大小差异显著，而标准卷积的采样位置固定在正方形窗口内，且采样点数量预先设定，难以适应不同尺度的物体特征提取。为此，ARConv通过动态学习卷积核的高度和宽度，并根据学习到的尺度动态调整采样点数量，从而能够有效捕获图像中各种尺度物体的特征。
本图是本文的核心示意图，展示了基于深度学习的遥感图像融合（pansharpening）流程以及提出的自适应矩形卷积（AdaptiveRectangularConvolution，简称ARConv）模块的工作原理。图的顶部展示了遥感图像融合的整体流程。在遥感领域，通常能够获取两种类型的图像：低分辨率多光谱图像（LRMS）和高分辨率全色图像（PAN）。LRMS图像包含丰富的光谱信息，但空间分辨率较低；而PAN图像虽然空间细节丰富，但仅是灰度图像，缺乏光谱信息。图像融合的目标就是将这两种图像结合起来，生成高分辨率多光谱图像（HRMS）。图中用箭头表示了从LRMS和PAN图像到HRMS图像的转换过程，强调了融合任务的重要性，即通过融合这两种图像的优势来提升图像的整体质量和可用性。
本图通过四个子图（a、b、c和d）直观地展示了四种不同类型卷积核的工作原理，对比了标准卷积、可变形卷积、多尺度卷积以及本文提出的自适应矩形卷积（ARConv）之间的区别和优势。图（a）展示了标准卷积（StandardConvolution）的结构。标准卷积使用固定形状和大小的卷积核（通常是正方形），在图像上滑动并提取特征。其采样位置是固定的，无法根据图像内容进行调整，这限制了其在处理不同尺度和形状目标时的灵活性。图（b）展示了可变形卷积（DeformableConvolution）。这种卷积通过学习偏移量来调整每个采样点的位置，从而能够适应不同形状的目标。图（c）展示了多尺度卷积（Multi-scaleConvolution）。这种卷积通过使用不同大小的卷积核来提取不同尺度的特征，但其卷积核的大小是预设的，无法根据图像内容动态调整。这可能导致在不同尺度特征融合时不够精确，影响模型的整体性能。图（d）展示了本文提出的自适应矩形卷积（ARConv）。ARConv不仅能够自适应调整采样位置，还能根据学习到的卷积核高度和宽度动态调整采样点的数量。
本图是本文的核心架构图，详细展示了自适应矩形卷积（AdaptiveRectangularConvolution，简称ARConv）模块的整体设计和工作流程。该图通过四个主要部分，清晰地说明了ARConv如何通过自适应学习卷积核的高度和宽度、动态调整采样点数量，并最终实现高效的特征提取。通过清晰的流程图展示了ARConv的工作原理，从输入特征图到最终的输出特征图，每一步都体现了ARConv在自适应性和灵活性方面的优势。通过动态调整卷积核的高度、宽度和采样点数量，ARConv能够更好地适应遥感图像中不同大小和形状的目标，从而实现更高效的特征提取和更优的图像融合效果。
本表格提供了在WorldView-3（WV3）数据集上对多种图像融合（pansharpening）方法的性能评估结果。该表通过一系列量化指标，全面比较了不同方法在处理低分辨率和全分辨率图像时的表现。表中列出了一系列图像融合方法，包括传统方法（如EXP、MTF-GLP-FS、TV等）、基于深度学习的方法（如PNN、PanNet、DiCNN等），以及本文提出的ARConv方法。这些方法在WV3数据集上的性能通过多个评估指标进行衡量。对于低分辨率数据集，使用了SAM（光谱角距离）、ERGAS（相对均方根误差）和Q8（基于小波变换的相似性度量）三个指标；对于全分辨率数据集，使用了Dλ（光谱失真）、Ds（空间失真）和HQNR（高质量噪声比）三个指标。这些指标分别从光谱信息保留、空间细节保留以及整体图像质量等方面对融合结果进行评估。总之，通过详细的量化指标对比，清晰地展示了ARConv方法在图像融合任务中的优越性。它不仅在多个性能指标上超越了现有的传统方法和基于深度学习的方法，还证明了其在处理不同分辨率图像时的稳定性和有效性。这为遥感图像融合领域提供了一种新的、高效的技术解决方案。
下载1：OpenCV-Contrib扩展模块中文版教程
在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。
下载2：Python视觉实战项目52讲
在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。
下载3：OpenCV实战项目20讲
在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。
交流群
欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三+上海交大+视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~
