在线教程丨ControlNet 作者开源新作!低门槛生成长视频,FramePack 革新视频生成


在线教程丨ControlNet 作者开源新作!低门槛生成长视频,FramePack 革新视频生成

仅用于站内搜索,没有排版格式,具体信息请跳转上方微信公众号内链接

作者:昭昭
编辑:李宝珠
转载请联系本公众号获得授权,并标明来源
「FramePack低显存视频生成Demo」已上线至HyperAI超神经官网的「教程」板块,快来体验低门槛的高质量视频生成吧!
FramePack是由ControlNet作者、斯坦福大学博士生张吕敏(LvminZhang)团队近期开源的视频生成框架,它通过创新的神经网络架构,有效解决了传统视频生成中显存占用高、漂移和遗忘等问题。
传统视频生成模型受限于计算负载与视频长度的强关联性,导致显存需求随视频时长指数级增长,普通用户往往因硬件限制而难以生成高质量的长视频。而FramePack则是压缩了输入帧的上下文信息,使视频生成的计算负载不再与时长强相关,仅需6GB显存即可生成120秒全帧率视频,彻底打破了长视频生成对高性能硬件的依赖,成为了普通创作者的福音。
目前,「FramePack低显存视频生成Demo」已上线至HyperAI超神经官网的「教程」板块,点击下方链接即可一键部署⬇️
教程链接:https ://go.hyper.ai/uE0EE
笔者使用FramePack生成了一段视频,占用资源少又能保证质量!
Demo运行
1.进入hyper.ai首页后,选择「教程」页面,并选择「FramePack低显存视频生成Demo」,点击「在线运行此教程」。
2.页面跳转后,点击右上角「克隆」,将该教程克隆至自己的容器中。
3.选择「NVIDIAGeForceRTX4090」以及「PyTorch」镜像,OpenBayes平台提供了4种计费方式,大家可以按照需求选择「按量付费」或「包日/周/月」,点击「继续执行」。新用户使用下方邀请链接注册,可获得4小时RTX4090+5小时CPU的免费时长!
HyperAI超神经专属邀请链接(直接复制到浏览器打开):
https ://openbayes.com/console/signup?r=Ada0322_NR0n
4.等待分配资源,首次克隆需等待2分钟左右的时间。当状态变为「运行中」后,点击「API地址」旁边的跳转箭头,即可跳转至Demo页面。请注意,用户需在实名认证后才能使用API地址访问功能。
效果展示
在「Image」中上传图片,然后在「Prompt」中输入提示词,最后点击「StartGeneration」生成。
参数调整简介:
*Seed:控制生成视频时的随机性。
*TotalVideoLength(Seconds):视频总时长(秒)。
*Steps:步骤(建议不要修改此项)。
*DistilledCFGScale:蒸馏GFC刻度(建议不要修改此项)。
*GPUInferencePreservedMemory(GB)(largermeansslower):如果您遇到OOM,请将此数字设置为更大的值。数值越大,速度越慢。
*MP4Compression:较低的值表示质量较好,「0」表示未压缩。
笔者上传了一张卡通的古风图片,模型很快就根据图片和提示词生成了对应的视频。
提示词为:
Thegirldancesgracefully,withclearmovements,fullofcharm.
生成效果如下⬇️


文章作者: ZejunCao
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 ZejunCao !
  目录