StoryTeller简介
StoryTeller是一个多模态AI讲故事工具,结合了Stable Diffusion图像生成、GPT文本生成和神经网络语音合成(TTS)技术。它可以根据给定的开场白生成完整的故事情节,为每个句子生成配图,并配上语音朗读,最终生成一个包含音频和视觉效果的完整动画短片。
安装方法
通过PyPI安装
StoryTeller可以通过PyPI安装,运行以下命令:
pip install storyteller-core
从源码安装
- 克隆仓库:
git clone https://github.com/jaketae/storyteller.git
cd storyteller
- 安装依赖
注意:对于Apple Silicon用户,需要先用Homebrew安装mecab:
brew install mecab
- (可选)安装开发依赖:
pip install -e .[dev]
pre-commit install
快速开始
使用命令行界面(CLI)是最快速运行演示的方法。基本用法如下:
storyteller
这将使用默认提示"Once upon a time, unicorns roamed the Earth"初始化故事。
您可以使用--writer_prompt参数自定义故事的开头,例如:
storyteller --writer_prompt "The ravenous cat, driven by an insatiable craving for tuna, devised a daring plan to break into the local fish market's coveted tuna reserve."
生成的最终视频将保存在/out/out.mp4目录中。
高级用法
使用CUDA加速
如果您有支持CUDA的机器,可以运行:
storyteller --writer_device cuda --painter_device cuda
Apple Silicon支持
对于Apple Silicon设备,可以运行:
storyteller --writer_device mps --painter_device mps
Python接口
StoryTeller也提供了Python接口,可以在Python代码中直接使用:
from storyteller import StoryTeller
story_teller = StoryTeller.from_default()
story_teller.generate(...)
总结
StoryTeller为创意写作和视频制作提供了一个强大而有趣的AI工具。无论您是想快速生成短视频,还是探索AI创意的可能性,StoryTeller都值得一试。欢迎访问StoryTeller GitHub仓库了解更多信息,并开始您的AI讲故事之旅!
