1. 介绍:FramePack发布亮点
- 敏神发布全新工具——FramePack,显著提升混元视频生成质量。
- 支持根据电脑配置调整显存占用,最高支持120秒视频生成。
2. 案例演示:FramePack效果展示
案例一:高质量动作捕捉
- 提示词:男人精力充沛地跳舞,手臂摆动流畅、步法快速。
- 画面特点:运动幅度大且无崩坏,完全符合提示词描述。
案例二:加速模式与质量对比
- 案例说明:关闭加速后生成的画面非常流畅且无崩坏;开启加速后生成的画面有30%几率崩坏,但能大幅加速,后期处理可弥补。
- 特点分析:平衡生成速度和画面质量。
案例三:长视频生成能力
- 提示词:女孩优雅跳舞,动作清晰,魅力十足。
- 生成时长突破:支持直接生成1分钟的高质量视频(开源模型目前仅支持5-6秒)。
- 对比测试:2分钟与6秒的画面效果几乎无区别,人物一致性保持得很好。
案例四:油画风格画面生成
- 画面特点:连贯、动作自然,展示了FramePack在复杂风格下的表现力。
案例五:文字交互功能演示
- 提示词:女孩突然用右手拿出写着“可爱”的牌子。
- 重点亮点:可以直接让人物从手里拿出写着文字的卡片,对商业用途意义重大。
案例六:极限运动捕捉(滑板女孩)
- 提示词:女孩玩滑板,动作幅度大且无崩坏。
- 画面特点:人物和滑板动作流畅,连贯性极佳。
3. 安装与使用教程
3.1 FramePack插件安装
- K神第一时间开发了FramePack插件,并整合到ComfyUI。
- 支持显卡型号:仅限30、40、50系显卡。
- 安装路径:将插件安装至此路径即可。
3.2 模型与环境准备
- 下载所需模型:FramePack支持的模型及相关文件可从网盘下载(包含插件、模型和整合包)。
- 环境备份建议:避免环境冲突,优先备份当前ComfyUI环境或创建新整合包。
3.3 工作流部署
- FramePack工作流已上传至RunningHub,点击链接即可直接下载并导入到本地。
- 模型选择:在设置中选择刚刚下载好的模型(CLIP、VAE和视觉模型需使用混元版本)。
4. 参数设置与操作步骤
4.1 采样器设置
- 提示词填写:如“女孩跳舞优雅,动作清晰,魅力十足”。
- 采样步数设置:根据需求选择合适的数值。
4.2 开关设置
- 建议保持默认参数即可,包括以下几个关键设置:
- 显存消耗参数:根据显卡配置调整(具体数值如下)。
- 24G-32G显存:填入3至6
- 12G-16G显存:填入6至9
- 6G-8G显存:填入9至12
- 其他参数:根据个人需求调整。
- 显存消耗参数:根据显卡配置调整(具体数值如下)。
4.3 生成设置
- 操作步骤:选择提示词并点击生成,等待结果输出。
- 注意事项:显存占用过高可能导致卡顿或崩溃(需合理分配显存)。
5. 显存管理与生成分析
- 显存优化建议:根据提示选择合适的显存分配参数。
- 生成速度与质量平衡:在加速模式和高质量模式之间选择适合自己的方案。
- 实际案例展示:成功生成2分钟高质量视频,展示FramePack的潜力。
6. 总结展望
总结:
- FramePack工具显著提升了混元视频生成的质量和效率。
- 支持长视频、复杂动作捕捉和文字交互功能,适用于多种创作场景。
- 对显卡配置要求较高(仅支持30、40、50系显卡)。
课件资料:
夸克网盘:https://pan.quark.cn/s/e6094dc2dbba
FramePackWrapper插件:https://github.com/kijai/ComfyUI-FramePackWrapper
抱脸模型下载:https://huggingface.co/lllyasviel/FramePackI2V_HY/tree/main