图生3D新SOTA！港中文&字节&清华联合提出Hi3DGen:通过法线桥接从图像生成高保真 3D 几何图形。
仅用于站内搜索，没有排版格式，具体信息请跳转上方微信公众号内链接
香港中文大学联合字节跳动和清华大学提出Hi3DGen，这是一个通过法线桥接从图像生成高保真三维几何体的全新框架。Hi3DGen由图像到法线估计器、法线到几何学习方法以及三维数据合成流程三个关键组件组成。可以生成高保真的丰富几何细节，为从图像生成高保真3D几何图形提供了新的方向。
论文：https ://stable-x. github.io/Hi3DGen/hi3dgen_paper. pdf
主页：https ://stable-x. github.io/Hi3DGen/
代码：https ://github. com/Stable-X/Hi3DGen
试用：https ://huggingface. co/spaces/Stable-X/Hi3DGen
随着从二维图像构建高保真三维模型的需求日益增长，现有方法由于域间隙的限制以及RGB图像固有的模糊性，在精确再现细粒度几何细节方面仍然面临巨大挑战。为了解决这些问题，作者提出了Hi3DGen，这是一个通过法线桥接从图像生成高保真三维几何体的全新框架。Hi3DGen由三个关键组件组成：
图像到法线估计器，通过噪声注入和双流训练将低高频图像模式解耦，以实现可泛化、稳定且精准的估计；
法线到几何学习方法，利用法线正则化的潜在扩散学习来增强三维几何体生成的保真度；
三维数据合成流程，构建高质量数据集以支持训练。
大量实验证明了该框架在生成丰富几何细节方面的有效性和优越性，在保真度方面超越了最先进的方法。Hi3DGen工作利用法线贴图作为中间表示，为从图像生成高保真3D几何图形提供了新的方向。
左图：噪声注入回归法线估计（NiRNE）示意图；右图：实域数据中高频区域的噪声标签。
正则化潜在扩散（NoRLD）的示意图。
所提出的DetailVerse数据集的构建流程，该数据集包含高质量的合成3D素材，用于支持Hi3DGen的训练。该流程包含三个步骤：文本提示收集、图像生成和3D素材合成。
感谢你看到这里，也欢迎点击关注下方公众号并添加公众号小助手加入官方读者交流群，一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、StableDiffusion、Sora等相关技术，欢迎一起交流学习💗～
