【他山之石】NeurIPS 2024 | TextHarmony：和谐统一的多模态文字理解与生成大模型
仅用于站内搜索，没有排版格式，具体信息请跳转上方微信公众号内链接
“他山之石，可以攻玉”，站在巨人的肩膀才能看得更高，走得更远。在科研的道路上，更需借助东风才能更快前行。为此，我们特别搜集整理了一些实用的代码链接，数据集，软件，编程技巧等，开辟“他山之石”专栏，助你乘风破浪，一路奋勇向前，敬请关注！
论文地址：https ://arxiv. org/abs/2407. 16364
代码仓库：https ://github. com/bytedance/TextHarmony
在人工智能领域，让机器能够像人类一样“看懂”图像中的文字（感知与理解），并“创作”或“修改”包含文字的图像（生成与编辑），是一个极具挑战性的研究方向。当前的主流方案通常将“理解”任务（如文字检测、识别、文档问答VQA）和“生成”任务（如文字图像生成、编辑、抹除）交由不同的模型处理，例如：
理解模型：Monkey、InternLM-XComposer2等视觉语言模型(VLM)，擅长文本模态的生成（输出文本）。
生成模型：TextDiffuser-2、AnyText等基于扩散模型(DiffusionModel)的模型，擅长图像模态的生成（输出图像）。
这种割裂不仅增加了系统复杂性，更重要的是，当尝试构建一个能同时处理理解和生成任务的统一多模态生成大模型时，研究人员发现了一个关键瓶颈：视觉模态（图像）与语言模态（文本）在生成过程中存在显著的“模态不一致性”(ModalityDiscrepancy)。这种不一致性导致多模态生成模型在理解任务（文本输出）和生成任务（图像输出）上的性能，均显著低于各自领域的单模态专家模型（文本生成性能下降约5%，图像生成性能下降最高达8%）。
针对上述挑战，字节跳动与华东师范大学的研究团队提出了TextHarmony。其核心目标是：在一个统一的模型架构中，和谐地实现视觉文本的理解（文本输出）与生成/编辑（图像输出）。
TextHarmony的架构设计融合了当前最先进的组件：
视觉编码器(ViT)：负责将输入图像编码为视觉Token序列。
多模态大语言模型(MLLM)：接收视觉Token和文本Token的交叉序列作为输入。其输出是关键：
文本Token：送入文本解码器，生成最终的文本输出（用于理解任务，如VQA答案）。
视觉Token：与文本Token拼接，共同作为**条件(Condition)**输入到下一阶段。
扩散模型(DiffusionModel)：接收MLLM输出的条件（融合了视觉和语言信息的Token），引导模型生成目标图像（用于生成/编辑任务）。
这种架构使得TextHarmony能够同时处理“看图说话”（理解）和“按文作图”（生成）的任务。
仅仅将不同模块拼接起来无法解决模态不一致性问题。为此，研究者提出了Slide-LoRA，这是一种创新的低秩适配机制，旨在模型中动态地、部分地解耦图像生成和文本生成的参数空间。其核心组件包括：
模态特定LoRA专家：专门处理视觉（图像生成）或语言（文本生成）相关的特定任务，提升各自模态的专业性。
模态无关LoRA专家：处理两种模态共享的通用特征，促进跨模态知识的融合。
动态门控网络：根据输入特征（文本和图像），实时决定激活哪些模态特定专家和模态无关专家，以及它们的融合权重，实现模型对不同生成任务的灵活适配。
Slide-LoRA通过在微调阶段（而非预训练阶段主要结构）引入这种动态路由机制，有效调和了图像生成与文本生成在统一模型中的冲突。
为了高效训练这个复杂模型：
第一阶段：预训练对齐
使用大规模图文对数据集(如MARIO-LAION,DocStruct4M)。
训练目标：对齐模块(PerceiverResampler)和图像解码器(DiffusionModel)。
成果：获得初步的文本生成（理解）和图像生成能力。
第二阶段：统一微调
使用涵盖视觉文本生成、编辑、理解、感知四个类别的任务数据。
开放更多参数更新：ViT、对齐模块、图像解码器和Slide-LoRA参数均参与训练。
目标：学习统一的多模态理解与生成能力，Slide-LoRA在此阶段发挥关键作用，协调不同模态的生成。
重要数据补充：为提升视觉文本生成的描述质量，团队构建了DetailedTextCaps-100K数据集，利用强大的闭源MLLM(GeminiPro)生成了更丰富、更聚焦于视觉文本元素的图像描述。
研究人员在多个标准任务上对TextHarmony进行了严格评估：
1. 视觉文本理解(文档/场景VQA,OCRBench)：
TextHarmony显著超越了现有的多模态生成模型(如SEED-LLaMA,MiniGPT5,MM-Interleaved)。
其性能接近甚至部分超越专注于文本理解/生成的专家模型(如Monkey,InternLM-XComposer2)，尤其是在文档问答任务上表现突出。这证明了其强大的文本理解和生成能力。
2. 视觉文本感知(OCR定位)：
在OCR定位任务上，TextHarmony取得了88. 7的优异表现，超越了TGDoc(82. 5)和DocOwl1. 5(84. 3)等模型，展示了其精准的文本区域检测能力。
3. 视觉文本生成与编辑：
在衡量文字图像生成/编辑质量的指标上(NED衡量文字准确性↑,FID衡量图像真实性↓,CLIPScore衡量图文匹配度↑)：
TextHarmony(TextHarmony-Gen版本尤为突出)大幅领先于其他多模态生成模型。
其性能接近TextDiffuser-2、AnyText等专注于图像生成的专家模型水平。这表明TextHarmony在生成包含准确、清晰文字的图像方面达到了很高的水准。
4. 文字生成效果对比
5. 文字编辑效果对比
6. 文字图像感知与理解可视化
TextHarmony是OCR领域首个成功统一视觉文本感知、理解、生成和编辑任务的多模态大模型。其核心贡献在于：
统一的架构设计：创新性地结合ViT、MLLM和DiffusionModel，支持多种模态的输出。
Slide-LoRA技术：有效缓解了统一模型中视觉生成与语言生成之间的模态不一致性，是模型成功的关键。
优异的性能：在广泛的OCR相关任务上（理解、感知、生成、编辑）均展现出领先或接近专家模型的性能。
这项工作填补了OCR领域多模态统一大模型的空白，为需要同时理解图像文字并生成或修改图文内容的复杂交互任务（如智能文档处理、自动化报告生成、交互式内容创作等）提供了强大的基础模型支持，具有重要的研究价值和广阔的应用前景。
本文目的在于学术交流，并不代表本公众号赞同其观点或对其内容真实性负责，版权归原作者所有，如有侵权请告知删除。
收藏，分享、在看，给个三连击呗！
