字节推出统一多模态模型 BAGEL，GPT-4o 级的图像生成能力直接开源了！
仅用于站内搜索，没有排版格式，具体信息请跳转上方微信公众号内链接
字节推出的BAGEL是一个开源的统一多模态模型，他们直接开源了GPT-4o级别的图像生成能力。（轻松拿捏“万物皆可吉卜力”玩法~）。可以在任何地方对其进行微调、提炼和部署，它以开放的形式提供与GPT-4o和Gemini2. 0等专有系统相当的功能，通过能够实现精确、准确和逼真的输出的原生多模态架构解锁有用且有价值的图像生成。
BAGEL是一个统一的生成和理解模型，它基于大型语言模型进行初始化预训练，从而为其提供了推理和对话的基础能力。BAGEL可以处理图像和文本的混合格式输入和输出。
BAGEL已基于大规模交错视频和网页数据进行预训练，使其能够生成高保真、逼真的图像、视频帧或交错的图文内容。交错数据经过适当的对齐，能够构建自然的多模态思维链，使模型能够生成视觉输出。
通过对交错视频片段进行预训练，BAGEL能够自然地学习保留视觉特征和精细细节，同时还能捕捉视频中复杂的视觉运动，从而高效地进行图像编辑。凭借源自视觉语言模型的强大推理能力，BAGEL的智能编辑能力轻松超越了基础编辑任务。
凭借对视觉内容和风格的深刻理解，BAGEL可以轻松地将图像从一种风格转换为另一种风格，甚至可以将其转换为完全不同的风格，只需使用最少的对齐数据即可。
BAGEL从视频、网络和语言数据中学习广泛的知识和能力，使其能够进行推理、建模物理动态、预测未来帧等等——所有这些都通过统一的多模态界面实现。凭借其组合能力，BAGEL可以无缝地进行多轮对话。
主页：https ://bagel-ai. org/
论文：https ://arxiv. org/abs/2505. 14683
模型：https ://huggingface. co/ByteDance-Seed/BAGEL-7B-MoT
BAGEL采用混合Transformer-专家(MoT)架构，以最大限度地提升模型从丰富多样的多模态信息中学习的能力。遵循同样的容量最大化原则，它利用两个独立的编码器来捕捉图像的像素级和语义级特征。整体框架遵循“下一组标记预测”范式，其中模型被训练为预测下一组语言或视觉标记作为压缩目标。
BAGEL通过对涵盖语言、图像、视频和网络数据的数万亿个交错多模态标记进行预训练、持续训练和监督微调来扩展MoT的容量。它在标准理解和生成基准上超越了开放模型，并展示了先进的上下文多模态能力，例如自由格式图像编辑、未来帧预测、3D操作、世界导航和序列推理。
随着我们扩展BAGEL的预训练，添加更多多模态标记，我们观察到理解、生成和编辑任务的性能持续提升。不同的能力在不同的训练阶段显现——多模态理解和生成能力出现较早，随后是基础编辑能力，而复杂的智能编辑能力则在后期显现。这种阶段性进展表明了一种新兴模式，即高级多模态推理建立在完善的基础技能之上。消融研究进一步表明，将VAE与ViT特征相结合可以显著提升智能编辑能力，这凸显了视觉语义语境在实现复杂多模态推理方面的重要性，并进一步支持了其在高级能力涌现中的作用。
感谢你看到这里，也欢迎点击关注下方公众号并添加公众号小助手加入官方读者交流群，一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、StableDiffusion、Sora等相关技术，欢迎一起交流学习💗～
