#文本生成视频
SoraFlows
SoraFlows提供浏览器界面,便捷生成和编辑文本与图片转视频内容,并支持多种部署方式。该工具包含Prompt编辑器、语音转文本、文本转语音和语音克隆等功能,支持多种登录和支付方式,适用于跨平台应用的免费部署。
Awesome-Open-AI-Sora
Sora是由OpenAI推出的AI模型,能根据文本指令生成生动的场景,视频时长可达60秒,包括详细场景、相机运动和多角色演绎。Sora还可应用于虚拟现实和电影制作等领域。尽管Sora项目尚处于早期阶段,其资源列表会定期更新,涵盖GitHub项目、文章、博客、在线课程、书籍、研究论文和视频等多方面内容,提供全面的信息和学习路径。
FollowYourPose
FollowYourPose项目提出了一种新方法,可以通过姿态和文本生成视频。该方法采用两阶段训练方案,利用易获取的数据集和预训练的文本到图像模型,生成可编辑且姿态可控的角色视频。第一阶段通过关键点图像对进行文本到图像的生成,第二阶段利用姿态自由视频数据集微调网络,成功生成连续的姿态可控角色视频,同时保留预训练模型的编辑和概念组合能力。
LaVie
LaVie是一个基于级联潜在扩散模型的文本到视频生成框架。它通过基础模型生成、视频插值和超分辨率三个步骤,可生成16至61帧、最高1280x2048分辨率的高质量视频。该框架支持多种采样方法和参数调整,用户可通过简单命令生成不同风格视频。LaVie开源了模型代码和预训练权重,便于学术研究和商业应用。
FIFO-Diffusion_public
FIFO-Diffusion是一种创新的文本到视频生成技术,无需额外训练即可从文本描述生成无限长度的高质量视频。该项目具有低内存需求(不到10GB VRAM)、支持多GPU并行推理等特点,并可与VideoCrafter2和Open-Sora Plan等先进模型兼容。FIFO-Diffusion为研究人员和开发者提供了探索和创造长时间、连贯视频内容的有力工具。
Tune-A-Video
Tune-A-Video项目通过微调预训练的文本到图像扩散模型,实现高质量文本到视频生成。该方法仅需一个视频-文本对作为输入,即可快速适应新的视频生成任务。支持Stable Diffusion等多种预训练模型,能生成多样化风格的视频内容。项目开源代码实现,提供在线演示和预训练模型,为研究和开发提供便捷的文本到视频生成工具。
Sora Videos
Sora Videos汇集了OpenAI最新文本生成视频技术Sora AI的展示内容。网站提供Sora AI生成视频的浏览功能,呈现了这项创新技术在视频创作领域的能力。涵盖Sora AI的核心特性,包括逼真场景创建、复杂场景生成和深度语言理解等,同时对比了其他视频生成模型。通过精选视频,直观展示Sora AI对视频制作未来的影响。
ChatGpt Sora
ChatGpt Sora是一个基于OpenAI Sora模型的开源平台,实现文本到视频的转换。平台提供直观的界面,用户只需输入文本即可生成高质量视频。适用于专业人士和爱好者,简化视频制作流程。虽然Sora模型尚未公开,ChatGpt Sora通过模拟API为开发者提供测试环境。该平台展示了AI在视频生成领域的应用潜力,为创作者提供了探索OpenAI Sora技术的机会。
KandinskyVideo
KandinskyVideo 1.1是一个开源的文本到视频生成模型,在EvalCrafter基准测试中表现突出。该模型采用三阶段生成流程:初始帧生成、关键帧生成和帧插值,有效提高了视频质量和内容连贯性。除了支持文本到视频转换,KandinskyVideo 1.1还能为输入图像添加动画效果。在视觉质量、文本-视频对齐、动作质量和时间连贯性等方面,该模型都展现出优秀性能,体现了开源文本到视频生成技术的最新发展。