UniRelight：用AI重新定义光影，一张图片也能“玩转”重光照！
仅用于站内搜索，没有排版格式，具体信息请跳转上方微信公众号内链接
UniRelight是一种基于视频扩散模型的新型重光照技术，能够在单次推理中联合估计场景的反照率并合成重光照输出，显著提升了跨场景的泛化能力和视觉效果。
在视频处理领域，我们是不是经常因为缺乏高质量的重光照工具而感到困扰？现有的重光照技术要么需要大量复杂的配对数据，要么在复杂光照和材质下效果不佳，导致生成的视频缺乏真实感。现在，NVIDIA空间智能实验室和研究院的最新成果UniRelight，为这一难题带来了突破性的解决方案！
UniRelight是一款强大的视频重光照框架，它通过联合建模场景内参和光照分布，实现了从单张输入图像或视频中生成高质量的重光照效果。这项技术不仅能够生成时间上一致的阴影、反射和透明效果，还在视觉保真度和时间一致性上超越了现有最先进方法。
UniRelight的核心优势在于它的联合估计能力，它将反照率估计和重光照任务结合在一起，利用视频扩散模型的强大生成能力，为重光照任务提供了强大的先验，从而提高了泛化能力并减少了阴影烘焙伪影。
UniRelight的出现，标志着视频重光照技术迈入了一个新的时代。它不仅解决了传统方法的局限性，还为视频内容创作、虚拟现实和增强现实等领域带来了全新的可能性。
🔗项目主页：https ://research. nvidia.com/labs/toronto-ai/UniRelight/
UniRelight的核心技术在于通过视频扩散模型（VideoDiffusionModels）实现联合估计反照率和重光照输出，借助合成数据和真实世界数据的混合训练策略，显著提升模型在复杂场景下的泛化能力和视觉效果。
1、联合估计与合成：UniRelight通过联合估计反照率和合成重光照结果，增强了对场景结构的隐式理解，能够更好地处理复杂材质（如透明、反射、阴影）和光照条件。
2、视频扩散模型：该技术基于预训练的视频扩散模型（DiT），通过在低维潜在空间中进行去噪操作，实现高效的重光照和反照率估计。
3、数据策略：结合了合成数据、真实世界单光照视频（自动标注）和多光照数据，以提高模型的泛化能力。
4、条件编码：通过将环境光编码为多个互补表示（如LDR全景图、对数强度图和方向编码），并将其与重光照视频的潜在表示结合，实现了对复杂光照条件的建模。
在合成数据集和MIT多光照数据集上，UniRelight在PSNR、SSIM和LPIPS等指标上均优于现有方法，如DiLightNet、NeuralGaffer和DiffusionRenderer。
UniRelight能够生成高质量的反照率图，并在复杂场景（如包含透明物体、玻璃材质和复杂阴影的场景）中生成更逼真的重光照效果。
通过在真实世界自动标注数据上训练，UniRelight能够更好地泛化到未见场景，如城市街道和自然场景。
联合建模重光照和反照率估计。解调为重光照任务提供了强先验，提高了泛化能力并减少了阴影烘焙伪影。
UniRelight能够在真实世界视频中，在目标光照条件下，生成高质量的反照率和重光照结果，并具有逼真的镜面高光和阴影。
该模型的强大泛化能力使得在不同场景下能够有效进行数据增强。在驾驶场景中生成的多个多样数据样本，包括夜间和黄昏场景，这表明它能准确模拟光照分布，并在不同光照条件下采样出逼真的重光照结果。
感谢你看到这里，也欢迎点击关注下方公众号并添加公众号小助手加入官方读者交流群，一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、StableDiffusion、Sora等相关技术，欢迎一起交流学习💗～
