带有角色动画和幻灯片的AI生成视频教程!🎥🤖📝🎨
这个AI工具可以帮助你创建引人入胜且内容丰富的AI生成视频教程,适用于任何主题!它配有一个具有面部动画的迷人角色和信息丰富的幻灯片,可以轻松解释任何主题。最棒的是,你可以完全控制教程的创意性、幽默感、解释深度、角色外观和声音。❤️✨
免费试用吧!🔥 它利用了各种强大工具的功能。
🚀 特点
- 🧠 使用Cohere的语言模型生成脚本。(你可以免费获得试用API密钥!)
- 🗣️ 与Edge TTS无缝集成,提供高质量配音。
- 😄 由SadTalker提供的引人入胜的面部动画。
- 🖼️ 来自Google的醒目且相关的幻灯片图片。
- 🎨 可自定义创意性、幽默感、解释深度、角色外观和声音。
✨ 快速演示
[视频演示]
✨ 完整演示
[视频演示1]
[视频演示2]
🚨 要求
打开终端并进入backend目录
对于Windows
python -m venv .venv
.venv\Scripts\activate
pip install -r requirements.txt
对于Linux或Mac
python -m venv .venv
source .venv/bin/activate
pip install -r requirements.txt
还需安装sadtalker(https://github.com/OpenTalker/SadTalker#%EF%B8%8F-1-installation),sadtalker目录必须位于backend内。运行一次sadtalker webui以创建venv环境。
将你的Cohere API密钥添加到backend/apikeys.json
🔌 使用方法
打开终端并进入frontend/topic2explanation
npm run dev
打开另一个终端并进入backend
uvicorn main:app
🎨 自定义性
要更改角色和声音,你需要将所需角色放入characters目录。它必须是640x720分辨率,对于声音,你可以从声音列表中选择一个声音,可以使用以下命令查看列表。
edge-tts --list-voices
找到你喜欢的声音后,将其添加到create_audio_image函数中
character_dict = {'Benjamin': "en-GB-RyanNeural",
'Sophia': 'en-IE-EmilyNeural'}
📝 工作原理
✨ 一切始于使用create_script函数创建脚本。📜 该函数接受各种参数,如主题、解释深度、目标受众年龄、创意性和幽默感。🎭 考虑这些参数,精心制作脚本以解释所选主题。为此,我们利用Cohere API和Langchain的强大功能。🤝
🎙️ 脚本准备就绪后,我们进入create_audio_image函数。该函数将脚本分成较小的句子,然后使用Microsoft的Edge文本转语音(TTS)服务生成音频对话。🗣️ 同时,我们再次使用Cohere和Langchain为每个句子生成搜索查询。这些搜索查询帮助我们从Google检索相关图片,用作演示中的幻灯片。🖼️
🎥 准备好音频文件和角色图像后,我们使用Sadtalker库创建视频。🎬 首先,我们为角色动画生成视频,然后将Google的静态图像转换为幻灯片视频。🎞️ 这些幻灯片视频将无缝集成到最终的视频演示中。为了增加随机性,我们为每个视频和幻灯片对分配一个随机数。根据这个数字,我们将幻灯片和说话的角色放置在左侧或右侧,或者将图像用作背景。说话的角色可能出现在屏幕左下角或右下角。🎯
📼 最后,我们保存完成的视频,结合幻灯片视频和角色动画视频。生成的视频现在可以分享了!🎉 为了将所有内容整合在一起,我们使用FastAPI作为后端,而前端则使用Next.js和Tailwind CSS。🚀
❤️ 致谢
如果你觉得这个项目有趣,请查看Alystria AI了解更多有趣的项目
https://www.linkedin.com/company/alystria-ai
- 🌐 Github: https://github.com/AkshitIreddy
- 💡 LinkedIn: https://www.linkedin.com/in/akshit-ireddy
- ✍️ Medium: https://medium.com/@akshit.r.ireddy
- 🐤 Twitter: https://twitter.com/akshit_ireddy