ShortGPT:AI视频自动化框架
ShortGPT是一个强大的内容创作自动化框架,旨在简化视频创作、素材获取、配音合成和编辑任务。它特别适用于YouTube自动化和TikTok创意程序自动化等热门应用场景。
主要特性
自动化编辑框架
ShortGPT提供了一种面向大型语言模型(LLM)的视频编辑语言,大大简化了视频创作流程。这使得用户可以更轻松地实现复杂的编辑任务。
多语言支持
该框架支持超过30种语言的内容创作和配音,包括英语、西班牙语、阿拉伯语、法语、波兰语、德语、意大利语、葡萄牙语、俄语、中文、日语、印地语和韩语等。这种多语言支持使得内容创作者可以轻松地为全球受众制作视频。
字幕生成
ShortGPT能够自动为视频生成字幕,提高视频的可访问性和观看体验。
素材获取
该框架可以从互联网上获取图片和视频素材,通过连接网络和Pexels API来满足用户的素材需求。这使得内容创作者可以快速找到适合的视觉元素来丰富他们的视频。
记忆和持久性
ShortGPT使用TinyDB确保自动化编辑变量的长期持久性,提高了工作效率和一致性。
核心引擎
ContentShortEngine
专为创建短视频而设计,从脚本生成到最终渲染,包括添加YouTube元数据等任务都能处理。
ContentVideoEngine
适用于制作较长视频,负责生成音频、自动获取背景视频素材、调整字幕时间和准备背景资产等任务。
ContentTranslationEngine
专门用于为整个视频配音和翻译,可以处理从主流语言到特定目标语言的转换。它可以接受视频文件或YouTube链接,转录音频,翻译内容,用目标语言配音,添加字幕,并生成一个全新语言的视频。
EditingEngine
使用编辑标记语言和JSON,将编辑过程分解为可管理和可定制的模块,使大型语言模型能够理解和执行编辑任务。
技术栈
ShortGPT利用多种先进技术来实现其功能:
- Moviepy:用于视频编辑和渲染
- OpenAI:用于自动化整个过程,包括生成脚本和提示
- ElevenLabs:用于多语言语音合成
- EdgeTTS:Microsoft的免费TTS服务,支持更多语言
- Pexels:用于获取背景素材
- Bing Image:用于获取图片素材
使用方法
用户可以通过Google Colab或本地Docker安装来运行ShortGPT。对于想要快速开始的用户,推荐使用Google Colab notebook,它无需安装任何前提条件,完全免费。
对于希望在本地运行的用户,需要安装Docker并按照提供的说明进行设置。安装完成后,用户可以通过Web界面(http://localhost:31415)访问ShortGPT的功能。
结语
ShortGPT作为一个开源项目,欢迎社区贡献。无论是新功能、改进基础设施还是完善文档,项目团队都非常欢迎各种形式的贡献。通过这个强大的框架,内容创作者可以更高效地制作创意视频内容,为观众带来更多精彩的视听体验。