Skip to content

Latest commit

 

History

History
executable file
·
155 lines (111 loc) · 12.5 KB

README_zh-CN.md

File metadata and controls

executable file
·
155 lines (111 loc) · 12.5 KB

ComfyUI EasyAnimate

在ComfyUI中使用EasyAnimate!

Arxiv Page Project Page Modelscope Studio Hugging Face Spaces

English | 简体中文

安装

选项1:通过ComfyUI管理器安装

选项2:手动安装

EasyAnimate存储库需要放置在ComfyUI/custom_nodes/EasyAnimate/

cd ComfyUI/custom_nodes/

# Git clone the easyanimate itself
git clone https://github.com/aigc-apps/EasyAnimate.git

# Git clone the video outout node
git clone https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite.git
git clone https://github.com/kijai/ComfyUI-KJNodes.git

cd EasyAnimate/
pip install -r comfyui/requirements.txt

将模型下载到ComfyUI/models/EasyAnimate/

EasyAnimateV5.1:

7B:

名称 种类 存储空间 Hugging Face Model Scope 描述
EasyAnimateV5.1-7b-zh-InP EasyAnimateV5.1 30 GB 🤗Link 😄Link 官方的图生视频权重。支持多分辨率(512,768,1024)的视频预测,支持多分辨率(512,768,1024)的视频预测,以49帧、每秒8帧进行训练,支持多语言预测
EasyAnimateV5.1-7b-zh-Control EasyAnimateV5.1 30 GB 🤗Link 😄Link 官方的视频控制权重,支持不同的控制条件,如Canny、Depth、Pose、MLSD等,同时支持使用轨迹控制。支持多分辨率(512,768,1024)的视频预测,支持多分辨率(512,768,1024)的视频预测,以49帧、每秒8帧进行训练,支持多语言预测
EasyAnimateV5.1-7b-zh-Control-Camera EasyAnimateV5.1 30 GB 🤗Link 😄Link 官方的视频相机控制权重,支持通过输入相机运动轨迹控制生成方向。支持多分辨率(512,768,1024)的视频预测,支持多分辨率(512,768,1024)的视频预测,以49帧、每秒8帧进行训练,支持多语言预测
EasyAnimateV5.1-7b-zh EasyAnimateV5.1 30 GB 🤗Link 😄Link 官方的文生视频权重。支持多分辨率(512,768,1024)的视频预测,支持多分辨率(512,768,1024)的视频预测,以49帧、每秒8帧进行训练,支持多语言预测

12B:

名称 类型 存储空间 拥抱面 型号范围 描述
EasyAnimateV5.1-12b-zh-InP EasyAnimateV5.1 39 GB 🤗链接 😄链接 官方图像到视频权重。支持多种分辨率(5127681024)的视频预测,以每秒8帧的速度训练49帧,支持多语言预测
EasyAnimateV5.1-12b-zh-控件 EasyAnimateV5.1 39 GB 🤗链接 😄链接 官方视频控制权重,支持Canny、Depth、Pose、MLSD和轨迹控制等各种控制条件。支持多种分辨率(5127681024)的视频预测,以每秒8帧的速度训练49帧,支持多语言预测
EasyAnimateV5.1-12b-zh-控制摄像头 EasyAnimateV5.1 39 GB 🤗链接 😄链接 官方摄像机控制权重,支持通过输入摄像机运动轨迹进行方向生成控制。支持多种分辨率(5127681024)的视频预测,以每秒8帧的速度训练49帧,支持多语言预测
EasyAnimateV5.1-12b-zh EasyAnimateV5.1 39 GB 🤗链接 😄链接 官方文本到视频权重。支持多种分辨率(5127681024)的视频预测,以每秒8帧的速度训练49帧,支持多语言预测
(Obsolete) EasyAnimateV5:

7B:

名称 种类 存储空间 Hugging Face Model Scope 描述
EasyAnimateV5-7b-zh-InP EasyAnimateV5 22 GB 🤗Link 😄Link 官方的7B图生视频权重。支持多分辨率(512,768,1024)的视频预测,支持多分辨率(512,768,1024)的视频预测,以49帧、每秒8帧进行训练,支持中文与英文双语预测
EasyAnimateV5-7b-zh EasyAnimateV5 22 GB 🤗Link 😄Link 官方的7B文生视频权重。可用于进行下游任务的fientune。支持多分辨率(512,768,1024)的视频预测,支持多分辨率(512,768,1024)的视频预测,以49帧、每秒8帧进行训练,支持中文与英文双语预测
EasyAnimateV5-Reward-LoRAs EasyAnimateV5 - 🤗Link 😄Link 通过奖励反向传播技术,优化了EasyAnimateV5-12b生成的视频,以更好地匹配人类偏好|

12B:

名称 种类 存储空间 Hugging Face Model Scope 描述
EasyAnimateV5-12b-zh-InP EasyAnimateV5 34 GB 🤗Link 😄Link 官方的图生视频权重。支持多分辨率(512,768,1024)的视频预测,支持多分辨率(512,768,1024)的视频预测,以49帧、每秒8帧进行训练,支持中文与英文双语预测
EasyAnimateV5-12b-zh-Control EasyAnimateV5 34 GB 🤗Link 😄Link 官方的视频控制权重,支持不同的控制条件,如Canny、Depth、Pose、MLSD等。支持多分辨率(512,768,1024)的视频预测,支持多分辨率(512,768,1024)的视频预测,以49帧、每秒8帧进行训练,支持中文与英文双语预测
EasyAnimateV5-12b-zh EasyAnimateV5 34 GB 🤗Link 😄Link 官方的文生视频权重。可用于进行下游任务的fientune。支持多分辨率(512,768,1024)的视频预测,支持多分辨率(512,768,1024)的视频预测,以49帧、每秒8帧进行训练,支持中文与英文双语预测
EasyAnimateV5-Reward-LoRAs EasyAnimateV5 - 🤗Link 😄Link 通过奖励反向传播技术,优化了EasyAnimateV5-12b生成的视频,以更好地匹配人类偏好|
(Obsolete) EasyAnimateV4:
名称 种类 存储空间 Hugging Face Model Scope 描述
EasyAnimateV4-XL-2-InP EasyAnimateV4 解压前 8.9 GB / 解压后 14.0 GB 🤗Link 😄Link 官方的图生视频权重。支持多分辨率(512,768,1024,1280)的视频预测,以144帧、每秒24帧进行训练
(Obsolete) EasyAnimateV3:
名称 种类 存储空间 Hugging Face Model Scope 描述
EasyAnimateV3-XL-2-InP-512x512 EasyAnimateV3 18.2GB 🤗Link 😄Link 官方的512x512分辨率的图生视频权重。以144帧、每秒24帧进行训练
EasyAnimateV3-XL-2-InP-768x768 EasyAnimateV3 18.2GB 🤗Link 😄Link 官方的768x768分辨率的图生视频权重。以144帧、每秒24帧进行训练
EasyAnimateV3-XL-2-InP-960x960 EasyAnimateV3 18.2GB 🤗Link 😄Link 官方的960x960(720P)分辨率的图生视频权重。以144帧、每秒24帧进行训练

节点类型

  • LoadEasyAnimateModel
    • 加载EasyAnimate模型
  • EasyAnimate_TextBox
    • 编写EasyAnimate模型的提示词
  • EasyAnimateI2VSampler
    • EasyAnimate图像到视频采样节点
  • EasyAnimateT2VSampler
    • EasyAnimate文本到视频采样节点
  • EasyAnimateV2VSampler
    • EasyAnimate视频到视频采样节点

示例工作流

文本到视频生成

我们的用户界面显示如下,这是json

工作流程图

图像到视频生成

我们的用户界面显示如下,这是json

工作流程图

您可以使用以下照片运行演示:

演示图像

视频到视频生成

我们的用户界面显示如下,这是json

工作流程图

您可以使用以下视频运行演示:

演示视频

镜头控制视频生成

我们的用户界面显示如下,这是json

工作流程图

您可以使用以下照片运行演示:

演示图像

轨迹控制视频生成

我们的用户界面显示如下,这是json

工作流程图

您可以使用以下照片运行演示:

演示图像

控制视频生成

我们的用户界面显示如下,这是json

工作流程图

您可以使用以下视频运行演示:

演示视频