Mamba还能这么玩?新SOTA横扫14个图像修复任务,计算量降低150倍!


Mamba还能这么玩?新SOTA横扫14个图像修复任务,计算量降低150倍!

仅用于站内搜索,没有排版格式,具体信息请跳转上方微信公众号内链接

用Mamba做图像修复是个值得关注的新兴方向,核心优势在于Mamba的长序列建模能力,可以替代Transformer,在高分辨率或复杂场景的实时修复等任务中优势显著。
这意味着,Mamba+图像修复会在热门的医学图像、自动驾驶等领域发展迅猛,落地前景可观。再加上,近年主流顶会(比如CVPR)对SSM类模型接受度较高,比如横扫14个图像修复任务的MaIR、降低150倍计算复杂度的Serpent…非常适合有论文需求的同学研究。
本文整理了10篇Mamba+图像修复2025新论文,大多都开源了,想快速出成果的同学可以直接拿来做参考,同时也建议从架构设计、任务适配、理论创新、轻量化等角度做创新,比较容易上手。
扫码添加小享,回复“曼巴修复”
免费获取全部论文+开源代码
方法:论文提出了一种名为Serpent的图像修复方法,它基于Mamba状态空间模型,通过多尺度处理高效建模图像中的长距离依赖。相比传统方法,Serpent在高分辨率图像修复中大幅降低了计算量和内存需求,同时保持了优秀的修复效果。
创新点:
使用Mamba模型,实现线性复杂度的长距离依赖建模。
设计了一种分层架构,将输入图像划分为多个尺度进行处理,利用Mamba模型在每个尺度上高效地建模长距离依赖
在高分辨率图像修复中,实现了高达150倍的计算复杂度降低和5倍的GPU内存需求减少,同时保持高质量的修复效果。
方法:论文提出了一种基于Mamba的图像修复模型MaIR,通过设计NSS策略和SSA块,在保留图像局部性和连续性的同时,高效地捕捉长距离依赖关系,从而在多种图像修复任务(如超分辨率、去噪、去模糊和去雾)中取得了优异的性能。
创新点:
提出NSS策略,通过基于条带的扫描区域和S形扫描路径,同时保留图像的局部性和连续性。
设计SSA块,通过计算不同序列对应通道的注意力权重来聚合序列,有效利用不同方向的互补信息。
在多个图像修复任务上,MaIR在14个数据集上超越了40个基线方法,取得了最先进的性能。
扫码添加小享,回复“曼巴修复”
免费获取全部论文+开源代码
方法:论文提出了一种名为Q-MambaIR的图像修复方法,通过动态调整量化范围和灵活舍入机制,解决了低比特量化时的误差问题,显著提升了图像修复的准确性和效率。
创新点:
提出动态平衡可学习标量,动态调整量化范围以适应输入数据分布,减少异常值导致的截断损失。
设计范围浮动灵活分配器,通过自适应阈值灵活舍入值,保留高频细节并维持特征提取能力。
在低比特量化下,Q-MambaIR显著优于现有方法,且几乎不增加训练计算和存储开销,适合在资源受限设备上部署。
方法:论文提出了一种名为M×T的图像修复方法,结合了Mamba和Transformer的优势。通过混合模块实现两者的协同作用,M×T在图像修复任务中表现出色,尤其在细节和上下文一致性方面优于现有方法。
创新点:
提出了一种结合Mamba和Transformer的新型混合模块,用于图像修复任务,充分发挥两者的优势。
通过在像素级和块级进行双重交互学习,显著提升了图像修复的细节和上下文一致性。
在CelebA-HQ和Places2数据集上实现了优于现有最先进方法的性能,并且能够高效处理高分辨率图像。
扫码添加小享,回复“曼巴修复”
免费获取全部论文+开源代码


文章作者: ZejunCao
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 ZejunCao !
  目录