南洋理工力作Sparc3D:开启三维重建可微分优化与高效生成新纪元。
仅用于站内搜索,没有排版格式,具体信息请跳转上方微信公众号内链接
由南洋理工大学推出Sparc3D是一个统一的框架,它将稀疏可变形行进立方体表示Sparcubes与新型编码器Sparconv-VAE相结合。Sparcubes通过将有符号距离和变形场散射到稀疏立方体上,将原始网格转换为具有任意拓扑的高分辨率(1024³)表面,从而实现可微分优化。Sparconv-VAE是第一个完全基于稀疏卷积网络构建的模态一致性变分自编码器,能够通过潜在扩散实现高效且近乎无损的三维重建,适用于高分辨率生成建模。
论文:https ://arxiv. org/abs/2505. 14521
试用:https ://huggingface. co/spaces/ilcve21/Sparc3D
主页:https ://lizhihao6. github.io/Sparc3D/
生产平台:https ://hitem3d. ai/
由于网格数据的非结构化特性以及密集体积网格的立方复杂性,高保真3D物体合成比2D图像生成仍然更具挑战性。现有的两阶段流程——使用VAE(使用2D或3D监督)压缩网格,然后进行潜在扩散采样——通常会因VAE中引入的低效表示和模态不匹配而导致严重的细节丢失。
论文推出了Sparc3D,这是一个统一的框架,它将稀疏可变形行进立方体表示Sparcubes与新型编码器Sparconv-VAE相结合。Sparcubes通过将有符号距离和变形场散射到稀疏立方体上,将原始网格转换为具有任意拓扑的高分辨率(10243)表面,从而实现可微优化。Sparconv-VAE是首个完全基于稀疏卷积网络构建的模态一致性变分自编码器,能够通过潜在扩散实现高效且近乎无损的3D重建,适用于高分辨率生成建模。Sparc3D能够在挑战性输入(包括开放表面、不连续组件和复杂几何形状)上实现一流的重建保真度。它能够保留细粒度的形状细节,降低训练和推理成本,并与潜在扩散模型自然集成,实现可扩展的高分辨率3D生成。
VAE重建的定性比较。Sparconv-VAE在重建复杂几何形状、将开放表面转换为双层水密网格以及揭示不可见的内部结构方面表现出色。
单幅图像到三维生成的定性比较。在相同的架构和模型大小下,使用Sparconv-VAE训练的生成器比TRELLIS生成了更详细的重建结果。
Sparc3D是一个统一的框架,旨在解决3D生成流程中长期存在的两个瓶颈:保持拓扑结构的网格重构和模态一致性的潜在编码。其核心是Sparcubes,它将原始的非水密网格转换为高分辨率的完全水密表面,同时保留精细的细节和微小的组件。在此基础上,Sparconv-VAE(一个带有自剪枝解码器的稀疏卷积变分自编码器)直接压缩和重构稀疏表示,而无需借助重量级注意力机制,从而实现了最佳的重建保真度和更快的收敛速度。当与潜在扩散(例如TRELLIS)结合使用时,Sparc3D可以提升下游3D资产合成的生成分辨率。总之,这些贡献为虚拟(AR/VR、机器人模拟)和物理(3D打印)领域的高保真3D生成建立了强大、可扩展的基础。
感谢你看到这里,也欢迎点击关注下方公众号并添加公众号小助手加入官方读者交流群,一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、StableDiffusion、Sora等相关技术,欢迎一起交流学习💗~