仅用于站内搜索，没有排版格式，具体信息请跳转上方微信公众号内链接
简介随着GPT-4o、Qwen-VL等生成式视觉-语言模型（VLM）大放异彩，通用多模态表示的需求也急速升温；然而，直接用这些VLM做检索或理解任务时，单向因果注意力机制往往限制了表示质量。为应对这一问题，来自中国人民大学、微软亚洲研究院、斯坦福大学、普林斯顿大学等机构的研究者提出了MoCa框架，是一个“持续预训练+异构对比微调”的两阶段框架，可将单向注意力VLM轻量化地训练成SOTA级双向多模态编码器。
TLDR：本文首次提出针对双向多模态表征模型的持续预训练方法，来高效利用无监督的多模态数据。
Paper：https ://arxiv. org/abs/2506. 23115
HomePage：https ://haon-chen. github.io/MoCa/
尽管VLM生成能力强，但直接拿来做嵌入仍有三大痛点：
单向因果注意力机制不利于表示学习现有多模态嵌入模型大多沿用VLM的单向因果注意力机制，导致上下文利用受限，表示质量逊于双向编码器。
训练目标与数据分布单一传统方法主要在短图文对上做单一对比学习，难以激发VLM已具备的复杂跨模态推理能力，也易对特定分布过拟合。
高质量成对数据难以扩展对比学习依赖人工或规则筛选的图文对，获取成本高且无法利用海量未配对的多模态信息。
MoCa针对以上痛点提出：
用联合重建任务引入双向注意力；
高效利用大规模非标注数据，提升多模态嵌入模型的双向理解和泛化能力；
利用多样化的对比学习数据进一步提高模型的鲁棒性和泛化性能。
MoCa由两个阶段构成：
（1）针对不同模态的持续预训练（Modality-awareContinualPre-training）
通过引入联合重建任务，模型以双向的方式同时还原被随机遮盖的文本token（MaskedLanguageModeling,MLM）和图像patch（MaskedAutoencoding,MAE），打破原有因果掩码的限制，使模型充分捕获跨模态与跨语言的细粒度语义关系。
（2）异构对比学习微调（HeterogeneousContrastiveFine-tuning）
在微调阶段，MoCa利用多样化的异构数据，包括：
长文档检索对：增加长文本语义推理能力；
传统短图文对：维持基础的图文对齐；
纯文本对：补充语义多样性与泛化能力。
并通过任务感知批采样策略提高训练效率，有效提升难负样本的多样性和区分度，最终强化多模态嵌入的泛化能力。
在MMEB与ViDoRe-v2两大主流多模态嵌入基准上，MoCa均取得显著性能提升：
MMEB（36个任务）:MoCa-3B比同规模基线提升显著，甚至能够达到现有7B规模baseline模型的性能水平。MoCa-7B达到当前最佳表现（SOTA）。
ViDoRe-v2（7个任务）:MoCa达到最佳singleembeddingmodel（除去colbertbased），展现出强大的复杂文档图片检索能力。
消融实验表明：
去除持续预训练（Modality-awareContinualPre-training）中的MLM和MAE后，模型表现均显著下降，说明CPT阶段学习的双向跨模态特征至关重要；
若移除异构对比学习中新引入的数据，仅用单一类型数据做对比微调，模型泛化性能明显降低，印证了异构样本与任务感知批采样的必要性。
Scaling实验进一步验证了MoCa的高效性：
仅使用20Btoken进行CPT后，3B模型即可逼近甚至超越未CPT的7Bbaseline模型；
模型性能随着数据规模的增大呈稳定提升趋势，证明MoCa能高效利用大规模数据进一步提升表示质量。
MoCa展示了将生成式VLM转化为高质量双向多模态编码器的巨大潜力，但仍有若干值得进一步探索的方向：
扩展至更多模态与任务场景当前MoCa主要聚焦图文检索任务，未来可以拓展至视频、音频等更复杂的模态，以及如多跳问答、多模态推理等更具挑战性的应用。
提升多语言适应能力虽然MoCa已支持多语种文本输入，但在低资源语言或跨语言检索上的表现仍有提升空间，可结合语言自适应预训练进一步增强鲁棒性。
自动合成高质量训练数据利用LLM合成多样化的图文对已成为趋势。后续可探索如何通过生成式模型构建异构样本，辅助对比训练，从而进一步降低对人工数据的依赖。
与生成能力结合的统一模型当前MoCa专注于表征能力优化，与原始VLM的生成能力相对割裂。未来可以探索如何构建兼具理解与生成的统一多模态模型，提升整体系统的通用性与实用性。
通过这些方向的拓展，MoCa有望进一步推动多模态嵌入模型向更强、更广、更智能演进。
推荐阅读
•动手设计AIAgents：（编排、记忆、插件、workflow、协作）
•DeepSeekR1+Agent的下半场
•单智能体（Agent）：企业员工AI助理
•Agent到多模态Agent再到多模态Multi-Agents系统的发展与案例讲解（1. 2万字，20+文献，27张图）
欢迎关注我的公众号“PaperAgent”，每天一篇大模型（LLM）文章来锻炼我们的思维，简单的例子，不简单的方法，提升自己。
