MotionAgent

简介

如果您熟悉中文，可以阅读中文版本的README。

MotionAgent是一个可以根据用户创作的剧本生成视频的深度学习模型工具。用户可以通过我们提供的工具集创作剧本、生成电影分镜、生成图像/视频，以及制作背景音乐。

MotionAgent的模型由开源模型社区ModelScope提供支持。

功能特性

• 剧本生成
  • 用户可以通过指定故事主题和背景来生成剧本
  • 剧本生成模型基于LLM（如Qwen-7B-Chat），可以生成各种风格的剧本
• 电影分镜生成
  • 生成对应的电影分镜场景图像
• 视频生成
  • 从图像生成视频
  • 支持高分辨率视频生成
• 音乐生成
  • 自定义风格背景音乐

快速开始

兼容性验证

已验证的环境：

• python3.8
• torch2.0.1
• CUDA11.7
• 操作系统：Ubuntu 20.04
• Nvidia-A100 40G

资源需求

• GPU内存：36GB
• 硬盘：建议预留50GB以上存储空间

安装指南

conda虚拟环境

使用conda虚拟环境，参考Anaconda管理您的依赖，安装完成后，执行以下命令：

conda create -n motion_agent python=3.8
conda activate motion_agent

GIT_LFS_SKIP_SMUDGE=1 git clone https://github.com/modelscope/motionagent.git --depth 1
cd motionagent

# 安装依赖
pip3 install -r requirements.txt

# 运行应用
python3 app.py

# 注意：MotionAgent目前支持单卡GPU，如果您的环境有多张显卡，请使用以下命令
# CUDA_VISIBLE_DEVICES=0 python3 app.py
# 注意：如果您使用的是Modelscope社区Notebook或者磁盘内存小于100GB，请打开clear_cache开关。每次运行都会重新下载模型，导致速度大幅下降，请耐心等待。
# python3 app.py --clear_cache

# 最后，点击日志中生成的URL即可访问页面。

模型列表

[1] Qwen-7B-Chat： 模型 | 空间

[2] SDXL 1.0：模型 | 空间

[3] I2VGen-XL： 模型 | 空间

[4] MusicGen： 模型 | 空间

更多信息

• ModelScope库

  ModelScope库是一个托管在github上的模型生态系统仓库，属于达摩院魔搭项目。

• 向ModelScope贡献模型

许可证

本项目采用Apache许可证（版本2.0）。