敏神最新力作 FramePack 混元视频模型

敏神最新力作  FramePack 混元视频模型

1. 介绍:FramePack发布亮点

  • 敏神发布全新工具——FramePack,显著提升混元视频生成质量。
  • 支持根据电脑配置调整显存占用,最高支持120秒视频生成。

2. 案例演示:FramePack效果展示

案例一:高质量动作捕捉

  • 提示词:男人精力充沛地跳舞,手臂摆动流畅、步法快速。
  • 画面特点:运动幅度大且无崩坏,完全符合提示词描述。

案例二:加速模式与质量对比

  • 案例说明:关闭加速后生成的画面非常流畅且无崩坏;开启加速后生成的画面有30%几率崩坏,但能大幅加速,后期处理可弥补。
  • 特点分析:平衡生成速度和画面质量。

案例三:长视频生成能力

  • 提示词:女孩优雅跳舞,动作清晰,魅力十足。
  • 生成时长突破:支持直接生成1分钟的高质量视频(开源模型目前仅支持5-6秒)。
  • 对比测试:2分钟与6秒的画面效果几乎无区别,人物一致性保持得很好。

案例四:油画风格画面生成

  • 画面特点:连贯、动作自然,展示了FramePack在复杂风格下的表现力。

案例五:文字交互功能演示

  • 提示词:女孩突然用右手拿出写着“可爱”的牌子。
  • 重点亮点:可以直接让人物从手里拿出写着文字的卡片,对商业用途意义重大。

案例六:极限运动捕捉(滑板女孩)

  • 提示词:女孩玩滑板,动作幅度大且无崩坏。
  • 画面特点:人物和滑板动作流畅,连贯性极佳。

3. 安装与使用教程

3.1 FramePack插件安装

  • K神第一时间开发了FramePack插件,并整合到ComfyUI。
  • 支持显卡型号:仅限30、40、50系显卡。
  • 安装路径:将插件安装至此路径即可。

3.2 模型与环境准备

  • 下载所需模型:FramePack支持的模型及相关文件可从网盘下载(包含插件、模型和整合包)。
  • 环境备份建议:避免环境冲突,优先备份当前ComfyUI环境或创建新整合包。

3.3 工作流部署

  • FramePack工作流已上传至RunningHub,点击链接即可直接下载并导入到本地。
  • 模型选择:在设置中选择刚刚下载好的模型(CLIP、VAE和视觉模型需使用混元版本)。

4. 参数设置与操作步骤

4.1 采样器设置

  • 提示词填写:如“女孩跳舞优雅,动作清晰,魅力十足”。
  • 采样步数设置:根据需求选择合适的数值。

4.2 开关设置

  • 建议保持默认参数即可,包括以下几个关键设置:
    • 显存消耗参数:根据显卡配置调整(具体数值如下)。
      • 24G-32G显存:填入3至6
      • 12G-16G显存:填入6至9
      • 6G-8G显存:填入9至12
    • 其他参数:根据个人需求调整。

4.3 生成设置

  • 操作步骤:选择提示词并点击生成,等待结果输出。
  • 注意事项:显存占用过高可能导致卡顿或崩溃(需合理分配显存)。

5. 显存管理与生成分析

  • 显存优化建议:根据提示选择合适的显存分配参数。
  • 生成速度与质量平衡:在加速模式和高质量模式之间选择适合自己的方案。
  • 实际案例展示:成功生成2分钟高质量视频,展示FramePack的潜力。

6. 总结展望

总结:

  • FramePack工具显著提升了混元视频生成的质量和效率。
  • 支持长视频、复杂动作捕捉和文字交互功能,适用于多种创作场景。
  • 对显卡配置要求较高(仅支持30、40、50系显卡)。

课件资料:


夸克网盘:https://pan.quark.cn/s/e6094dc2dbba

FramePackWrapper插件:https://github.com/kijai/ComfyUI-FramePackWrapper

抱脸模型下载:https://huggingface.co/lllyasviel/FramePackI2V_HY/tree/main