IC-Light升级，支持视频重打光! RelightVid可在多视频场景中重照明，支持文本提示、背景视频和HDR输入！
仅用于站内搜索，没有排版格式，具体信息请跳转上方微信公众号内链接
之前的文章中已经和大家介绍过ControlNet作者关于图像重打光的工作IC-light，这篇论文也是获得了ICLR2025的满分评分，感兴趣的小伙伴可以点击下面链接阅读！
ICLR2025满分论文，ControlNet作者新作IC-light，控制生成图像照明，代码模型已开源。
今天给大家介绍由上海人工智能实验室、复旦大学、上海交通大学、浙江大学、斯坦福大学和香港中文大学联合提出的关于视频重打光的工作RelightVid，通过将可训练的时间层策略性地插入到用于图像照明编辑的预训练扩散框架（IC-Light）中来增强视频重新照明，同时通过连接和照明交叉注意有效地集成背景视频、文本提示和HDR地图，实现灵活且时间一致的视频重新照明。
🔥RelightVid是一个灵活的框架，用于实现逼真且时间一致的视频重新照明，与现有基线相比具有出色的性能。
🔥论文构建了LightAtlas，这是一个具有真实世界和3D渲染照明对的大规模视频数据集，以提供丰富的照明先验。
🔥通过结合时间层，该框架可确保强大的帧间一致性，同时在整个视频中保持高质量的重新照明。
🔥RelightVid支持文本提示、背景视频和HDR地图等多种输入，可在各种视频场景中进行灵活且自适应的灯光操控。
论文：https ://arxiv.org/pdf/2501.16330
项目：https ://aleafy.github.io/relightvid
代码：https ://github.com/Aleafy/RelightVid
数据集：https ://aleafy.github.io/RelightVid
RelightVid在不同的基于文本的照明提示下重新点亮相同的输入视频，提供细粒度和一致的场景编辑。
RelightVid执行BG条件重新照明，动态影响前景的照明以实现连贯和上下文感知的结果。
RelightVid生成的视频利用动态HDR调节照明，实现了物体光照随时间保持一致。第一行显示时间HDR环境图作为光照条件，第二行则显示每个相应HDR下的重新照明结果。
LightAtlas数据管道概览。我们定制的增强管道能够从自然界视频和3D渲染数据中生成高质量的视频重光照对。左侧部分使用自然界来源从原始视频中提取五种类型的增强数据。右侧部分展示了在不同HDR地图和随机摄像机轨迹下生成的3D渲染视频对，从而增强了重光照数据的多样性和真实感。
RelightVid通过将可训练的时间层策略性地插入到用于图像照明编辑的预训练扩散框架（IC-Light）中来增强视频重新照明，同时通过连接和照明交叉注意有效地集成背景视频、文本提示和HDR地图，实现灵活且时间一致的视频重新照明。
感谢你看到这里，也欢迎点击关注下方公众号并添加公众号小助手加入官方读者交流群，一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、StableDiffusion、Sora等相关技术，欢迎一起交流学习💗～
