CVPR2025|突破数据瓶颈!Stable Diffusion 助力视觉异常检测,无需训练即可生成真实多样异常样本


CVPR2025|突破数据瓶颈!Stable Diffusion 助力视觉异常检测,无需训练即可生成真实多样异常样本

仅用于站内搜索,没有排版格式,具体信息请跳转上方微信公众号内链接

论文题目:AnomalyAnything:PromptableUnseenVisualAnomalyGeneration
论文地址:https ://arxiv. org/pdf/2406. 01078v3
代码:https ://hansunhayden. github.io/AnomalyAny. github.io/.
提出了一个统一的图像匹配框架MINIMA,可以处理多种跨模态图像匹配任务,包括RGB-IR、RGB-Depth、RGB-Event等。
设计了一种简单有效的数据引擎,能够从廉价且丰富的RGB图像数据中生成大规模的多模态图像数据集,解决了现有跨模态数据集规模小、场景覆盖不足的问题。
本文的主要研究方法是提出了一种名为AnomalyAny的新框架,该框架利用StableDiffusion(SD)的图像生成能力来生成多样且真实的未见异常样本。在测试时,通过条件于单个正常样本,能够为任意对象类型生成带有文本描述的未见异常。框架中引入了注意力引导的异常优化,引导SD的注意力集中在生成困难的异常概念上,并引入提示引导的异常细化,结合详细描述以进一步提升生成质量。
本图展示了AnomalyAny与其他现有方法的对比。图中展示了三种方法生成的异常样本示例,包括DRAEM、AnomalyDiffusion和AnomalyAny。可以看出,AnomalyAny能够生成与特定对象相关的多样化和真实的未见异常样本,而无需训练,这与现有方法相比具有优势。
本图详细展示了AnomalyAny的工作流程,包括测试时正常样本条件化、注意力引导的异常优化和提示引导的异常细化三个核心模块。图中说明了如何利用单个正常样本和文本描述来引导生成过程,并在不同阶段进行优化以提高生成质量。
本图展示了在不同优化策略下生成的异常样本示例,包括仅使用StableDiffusion、不使用正常样本条件化、不使用注意力引导优化和不使用提示引导优化的情况。通过比较可以看出,AnomalyAny的完整流程能够有效地生成更真实的异常样本。
本表展示了在1-shot异常检测任务中,使用不同异常生成方法生成的合成异常样本进行训练的检测性能比较。表中列出了多个方法在MVTecAD和VisA数据集上的检测指标,包括图像级和像素级的AUROC(I-AUC和P-AUC)、max-F1分数(I-F1和P-F1)以及Per-Region-Overlap(PRO)。本表还列出了其他少样本异常检测方法的性能,包括PaDiM和PatchCore这两种全样本方法在少样本设置下的表现,以及三种基于CLIP的少样本方法的性能。总体来看,AnomalyAny在多数指标上均取得了最佳性能,显示出其生成的异常样本在提高异常检测任务性能方面的有效性。结果表明,AnomalyAny生成的异常样本不仅质量高,而且具有多样性,能够有效帮助训练出性能更优的异常检测模型。这证明了AnomalyAny在数据稀缺场景下的实用性和有效性。
–END–
最后对扩散模型创新感兴趣的可公众号后台私信‘加群’或者扫描下方👇二维码进入扩散模型交流群!
关注“学姐带你玩AI”公众号,回复“DM论文”
领取扩散模型创新方案合集+开源代码
往期推荐:
如何给大模型喂时序数据?基于LLMs的时间序列预测5大方法汇总
强化学习+大模型轻松发顶会!不要光想着LLM,OpenAIo1这样做才是对的
时间序列+预训练大模型!最新开源成果性能暴涨42. 8%
结合创新!高性能小模型+热门大模型=王炸,8种策略教你拿下顶会顶刊!
完美融合!LLM大模型x知识图谱2024最新SOTA!(附代码)
ACCEPT
据说点赞的都Accept了!


文章作者: ZejunCao
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 ZejunCao !
  目录