从文本到3D动画：AnimaX 前馈 3D 动画框架，解锁任意骨骼动画无限可能。
仅用于站内搜索，没有排版格式，具体信息请跳转上方微信公众号内链接
AnimaX是一个前馈3D动画框架，它将视频扩散模型的运动先验与基于骨骼的动画的可控结构连接起来。传统的运动合成方法要么局限于固定的骨骼拓扑结构，要么需要在高维变形空间中进行昂贵的优化。相比之下，AnimaX有效地将基于视频的运动知识迁移到3D领域，能够在任意骨骼系统中，通过文本条件为各种关节网格制作动画。几分钟内即可以物理上合理的方式制作3D动画。
使用视频姿势扩散模型制作骨骼动画如下图所示：
代码：https ://github. com/anima-x/anima-x
论文：https ://arxiv. org/abs/2506. 19851
主页：https ://anima-x. github.io
AnimaX是一个前馈3D动画框架，它将视频扩散模型的运动先验与基于骨架的动画的可控结构连接起来。传统的运动合成方法要么局限于固定的骨架拓扑结构，要么需要在高维变形空间中进行代价高昂的优化。相比之下，AnimaX有效地将基于视频的运动知识迁移到3D领域，支持具有任意骨架的多种铰接网格。
该方法将3D运动表示为多视角、多帧的2D姿态图，并支持基于模板渲染和文本运动提示的联合视频姿态扩散。论文引入共享位置编码和模态感知嵌入，以确保视频和姿态序列之间的时空对齐，从而有效地将视频先验迁移到运动生成任务。生成的多视角姿态序列被三角剖分成3D关节位置，并通过逆运动学转换为网格动画。AnimaX使用新整理的160,000个装配序列数据集进行训练，在VBench的泛化、运动保真度和效率方面取得了最先进的结果，为类别无关的3D动画提供了可扩展的解决方案。
AnimaX可在几分钟内为一个带关节的3D网格制作动画。AnimaX包含两个阶段：
根据输入网格渲染的模板视图和姿势图，同时生成多视角一致的视频和相应的姿势序列，并附带文本描述；
使用多视角三角测量恢复每帧的3D关节位置，并应用逆运动学获取关节角度并制作网格动画。
论文提出的AnimaX是一个用于为具有任意骨架结构的铰接式3D网格制作动画的前馈框架，它将视频扩散模型的泛化运动先验与基于骨架的动画的结构化可控性相结合。与依赖固定骨架拓扑或需要昂贵优化的现有方法不同，该方法能够高效地生成基于文本运动提示的、时间和空间一致的多视角姿态和视频序列。通过引入联合视频姿态扩散、共享位置编码和模态感知嵌入，AnimaX有效地将基于视频的运动知识迁移到3D领域，并支持广泛的网格类别。在VBench上进行的大量实验验证了提出的方法在泛化能力、动画质量和运行效率方面的卓越性。
感谢你看到这里，也欢迎点击关注下方公众号并添加公众号小助手加入官方读者交流群，一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、StableDiffusion、Sora等相关技术，欢迎一起交流学习💗～
