TIM 2025 | CASPFuse: 基于双循环横向感知和全局结构张量保持的红外与可见光图像融合方法
仅用于站内搜索，没有排版格式，具体信息请跳转上方微信公众号内链接
好消息！加入知识星球，详细阅读本文PDF完整版
双循环模态转换网络（DMT）：提出了一种双循环模态转换网络，通过基于横向感知的对抗学习和边缘先验约束，使生成的图像在追求模态转换的同时更好地继承原始图像的特性。
全局结构张量保持模块（STP）：设计了一组全局结构张量保持模块（STP）和STP感知损失，用于增强网络在结构保持和模态一致性感知方面的能力。
渐进自适应融合网络（PAF）：提出了一个渐进自适应融合网络（PAF），该网络通过渐进成对图像生成和结构微调，使参与融合操作的图像具有相似的特征空间，从而有效避免了模态属性差异引起的干扰，并最大化每种模态的优势。
跨模态生成器与结构微调模块的结合：设计了跨模态生成器和结构微调模块的结合，通过将红外图像转换为伪可见光图像，消除原始可见光图像中的强光干扰，并补偿其缺失的结构信息。
跨模态图像特征空间的不一致性使得自适应融合不同模态的图像具有挑战性。融合规则不可避免地会全局或局部倾向于某一模态。为了解决这一挑战，本文提出了一种基于双循环横向感知和全局结构张量保持（CASPFuse）的新型融合方法，该方法通过模态转换网络使参与融合操作的图像具有相似的特征空间。首先，提出了一个双循环模态转换（DMT）网络。在基于横向感知的对抗学习和边缘先验的约束下，该网络生成的图像在追求模态转换的基础上更好地继承了原始图像的特性。其次，设计了一组全局结构张量保持（STP）模型和STP感知损失，以增强网络在结构保持和模态一致性感知方面的能力。STP感知损失与循环一致性损失和横向感知损失协同工作，使网络能够有效监督高质量伪图像的生成，并消除不良伪影和结构退化。第三，作者设计了一个渐进自适应融合（PAF）网络，该网络依次生成具有统一模态的成对图像，并微调其结构，以克服不同模态属性有效聚合的挑战。大量对比实验表明，CASPFuse在充分表达不同模态的优势互补信息方面优于现有的融合方法。
深度学习，图像融合，模态转换，结构感知。
提出的CASPFuse包括一个使用基于横向感知的对抗学习的DMT网络和一个基于结构微调的PAF网络，如图2所示。
DMT网络包含两个基于生成对抗学习模式的并行模态转换循环。每个循环由两个跨模态生成器和一个判别器组成。生成器由一组密集连接的残差块串联而成，能够充分捕获不同模态特征空间之间的映射关系。判别器采用PatchGAN架构，通过细粒度分割能够充分感知图像的局部模态一致性。在一个循环中，可见光图像通过生成器转换为伪红外图像，并输入判别器以与原始红外图像进行模态判别。然后，伪红外图像通过另一个生成器重建为可见光图像，并与原始可见光图像构建循环一致性损失（）。通过反向传播上述过程的损失，优化生成器的模态学习和结构保持能力。类似地，另一个循环从红外图像开始执行相应的过程。在双循环中，DMT中设计了一系列全局STP模块，以提取和聚合三对互补图像的结构张量信息，即、和。STP感知损失（）在STP模块之间构建，以促进生成器捕获图像的互补信息。此外，作者还引入了横向感知损失（）来计算生成图像对和之间的模态损失，以进一步增强DMT的模态约束能力。与上述损失的联合约束使DMT能够在图像融合级别感知模态和结构一致性，克服了传统模态转换方法中仅使用单模态图像监督生成图像时由于结构差异引起的不良伪影和结构退化。
PAF包括两个在DMT中训练的跨模态生成器（和）和一个基于显著性图的结构微调模块。在融合阶段，作者首先利用将红外图像转换为伪可见光图像。然后，用于消除原始可见光图像的强光干扰，并通过设计的FT模块补偿其缺失的结构信息。该操作生成具有丰富纹理细节的初步融合图像。最后，作者使用将重建为高质量的伪红外图像，并将其与相乘。该操作可以充分继承红外域的优越对比度特性，并生成具有清晰纹理和显著物体的融合图像。
图3展示了全局STP模块的具体架构，它由Siamese结构张量提取器和结构张量重建器组成。然后，作者引入了结构张量损失来预训练它们。每个提取器包括一个卷积层和两个残差块。卷积层具有的卷积核和LeakyReLU激活函数。残差块有两个的卷积层，第一层后面跟着一个批量归一化层和一个LeakyReLU单元层。第二层的输出直接与第一层的输入一起传递到下一层。最后，每个通道生成16个结构张量图。
重建器使用CNN参数化两个通道的结构张量的聚合。首先，提取的结构张量图被连接并通过一个的卷积层。然后，聚合的结构张量通过三个串联的残差块进行重建。最后，使用一个的卷积层生成N通道的全局结构张量。
上述残差块的广泛应用有助于加速网络对有效特征表示的学习，并缓解训练过程中的梯度消失问题。此外，密集连接的残差块可以加深网络的特征学习层次，同时更好地捕获图像中的细节。总结来说，残差块的有效性已得到广泛验证，这帮助作者构建了一个更深层次且更高效的结构张量聚合器。
如图2所示，两个跨模态生成器和具有相同的网络层，并且都嵌入了一个边缘检测模型以提供边缘先验指导。但它们具有相反的跨模态转换任务，以实现可见光和红外域之间的特征空间相互映射。具体来说，生成器将一种模态的图像及其边缘图作为输入，输入层后立即跟随三个卷积层。第一个卷积层的步长为1，卷积核为，其他两个卷积层的步长为2，卷积核为。它们初步提取图像的浅层特征。这里的卷积层使用LeakyReLU激活函数以防止梯度消失。生成器的中间部分包含九个残差块，每个残差块由两个卷积层、一个实例归一化层和一个跳跃连接组成。残差块增强了信息的表示和流动，使得网络的深层特征能够更好地传播。在密集残差块之后，图像通过两个步长为2的卷积层和一个步长为1的卷积层上采样到其原始大小。为了确保生成的图像清晰地保留原始图像的边缘信息，作者使用多尺度边缘先验特征来指导图像的重建。输出层使用tanh激活函数将输出范围限制在之间，最终生成高质量的伪图像。
结构微调模块将同一模态的图像对作为输入。在一个处理分支中，输入图像通过一个的平均滤波器分离出基础层和细节层，分别表示为和。表示图像索引。在另一个分支中，它们通过一个的拉普拉斯滤波器，紧接着是一个的高斯低通滤波器，以获得显著性图。然后，使用一个阶跃函数比较两个显著性图，并获得：
表示图像的像素。随后，相应的源图像作为的引导图像进行图像滤波，并生成基础层和细节层的融合权重，分别表示为和：
其中是引导滤波器的参数。基础层采用大滤波器尺寸以平滑细节，而细节层采用小滤波器尺寸。由于同一模态具有相似的特征空间，使得提取互补显著性信息变得简单有效，从而促进了图像的自适应融合。最终，从融合的基础层和细节层重建出具有完整结构和清晰物体边缘的融合图像。
本文内容为论文学习收获分享，受限于知识能力，本文对原文的理解可能存在偏差，最终内容以原论文为准。本文信息旨在传播和学术交流，其内容由作者负责，不代表本号观点。文中作品文字、图片等如涉及内容、版权和其他问题，请及时与我们联系，我们将在第一时间回复并处理。
#论文推广#
让你的论文工作被更多人看到
你是否有这样的苦恼：自己辛苦的论文工作，几乎没有任何的引用。为什么会这样？主要是自己的工作没有被更多的人了解。
计算机书童为各位推广自己的论文搭建一个平台，让更多的人了解自己的工作，同时促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。计算机书童鼓励高校实验室或个人，在我们的平台上分享自己论文的介绍、解读等。
稿件基本要求：
•文章确系个人论文的解读，未曾在公众号平台标记原创发表，
•稿件建议以markdown格式撰写，文中配图要求图片清晰，无版权问题
投稿通道：
•添加小编微信协商投稿事宜，备注：姓名-投稿
△长按添加PaperEveryday小编
