抽象小视频秒变特效大片：原视频精髓不变角色环境任意换，Luma出品
仅用于站内搜索，没有排版格式，具体信息请跳转上方微信公众号内链接
AI爆改视频可以有多夸张？
这么抽象的“过家家”小船，AI直接给原地飞升为在汹涌海浪中前行的帆船。
不仅画面精细、大片视效果，还保留了原视频的动作运镜。
背着孩子骑大马，现在也能秒变驯龙高手。
或者是进行风格迁移，“给手部扫个X光”。
动作、位置都与原视频几乎一致。
这感觉，自己在家就能当导演手搓CG大片了。
还要什么动捕、建模、特效渲染啊，AI直接全部搞定。
这就是AI视频模型最新玩法，ModifyVideo，直译就是改造视频，由LumaAI推出。
它能重新“想象”任何视频，类似于人类拍个草稿，AI负责搞定你想要的各种后期视效。
最关键是能对角色、场景、动作进行精准控制，只编辑你想编辑的元素，不会篡改本来的人物动作。
要知道，现在很多AI视频生成模型都被诟病不受控制，容易让生成的人物、物体动作诡异或者不符合物理规律。
一经发布，这个玩法就在推特火了。
大家在惊呼amazing同时，也自己试玩了一把，效果确实非常nice。
具体还有哪些能力？一起来看。
对于这个新功能，官方是这样介绍的：
可以在确保完整性的同时，重构环境、照明和纹理，保留重要内容并改进其他所有内容。
具体来说，可以进行下面三种操作：
先看下面这个小哥，本来在停车场swag，一秒穿梭到城市间梭哈，动作1比1复刻，有点赛博朋克2077那味了。
这就是官方所说的动捕和操纵功能，任何你喜欢的视频，都可以自由提取全身、面部或口型动作，再完美迁移到新角色上。
动作有了，场景切换也是信手拈来，从白天到黑夜、公园到峡谷，只要你想，你就可以立马跳转到世界的另外一个角落。在不影响原有性能的前提下，各种风格都能变幻自如。
最值得一提的是，本次更新可以进行单个元素编辑。再也不用整个镜头更改，哪里不满意点哪里，没有绿屏，也没有繁琐的跟踪，细节处理变得更加容易。
比如下面这个西海岸rapper，想要更酷帅更嘻哈，那就给墙上画涂鸦、坐骑也换成更炫酷的荧光紫，还有必不可少的大金链子。（嗯，对味了）
此外，官方博客还介绍了ModifyVideo的更多优点：
使用姿势、口型同步和面部跟踪等高级性能信号最大程度上保留动作形态。
可以从同一动作中快速生成多种风格，满足用户个性需求。
采用视觉参考、第一帧图像或Prompt指导输出。
支持16:9（720p）格式分辨率，实现无缝集成。
能在三个结构化预设上进行自由选择，包括粘贴、弯曲和重构。
粘贴是指同步原始视频的动作结构；
弯曲可以在保留关键元素的同时进行控制转换；
重构则是创意神器，全场景都能得以重塑，例如将人类变异成哥斯拉、蜥蜴人……
此外，为了更进一步验证ModifyVideo的强大，官方还进行了量化评测，和同样位于第一梯队的Runway正面PK。
在实际测试对比中，Luma在各个维度上都领先同行。
Luma进行外部盲评，对比对象是RunwayV2V。
同时也和Luma其他模式进行对比，Reimagine的表现在以下维度都更强。
观看愉悦度（Pleasingtowatch）
与图像输入的结构相似度（Structurallysimilartoimageinput）
遵循视频输入的运动轨迹（Followsthemotionofvideoinput）
时间一致性（Temporalconsistency）
遵循视频输入的面部动画（Followsthefacialanimationofvideoinput）
提示词遵循（Followstheprompt）
此外官方还给出了一些直观对比。
可以看到在一些情况下，RunwayV2V已经明显崩了，画面稀碎，但是Luma这边和原视频的动作还保持高度一致。
最后再来介绍下LumaAI。
它由AmitJain和AlexYu联合创立。
联合创始人兼CEOAmitJain曾在苹果公司担任AR/CV工程师；联合创始人兼CTOAlexYu2021年毕业于加州伯克利，曾与AngjooKanazawa教授一起研究NeRF相关的3D计算机视觉。
公司成立于2021年，专注于计算机视觉，涵盖视频、3D和图片生成，在2024年6月推出核心产品DreamMachine。
在此之前，Luma还吸引了a16z、英伟达等投资。
—完—
📪量子位AI主题策划正在征集中！欢迎参与专题365行AI落地方案，一千零一个AI应用，或与我们分享你在寻找的AI产品，或发现的AI新动向。
💬也欢迎你加入量子位每日AI交流群，一起来畅聊AI吧～
一键关注👇点亮星标
科技前沿进展每日见
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
