#文本到视频
Runway Gen-2
Runway Research的Gen-2系统是一款前沿的AI视频创作工具,能够仅通过文本、图像或视频片段来生成全新视频。该系统不仅支持文本到视频的转换,还能进行图像到视频的多样化合成,无需实际摄制即可制作电影级视频。可广泛应用于电影预告片制作、品牌广告创意展示等领域,特别适合广告、电影制作和个性化内容创建。此外,其易用性和用户友好性,使得任何人都可以轻松创建专业级视频内容。
Typeframes
Typeframes通过AI技术,迅速将文本转化为高品质视频。它支持多种定制模板,适用于YouTube、Instagram和TikTok等平台,帮助内容创作者提升制作效率和视频品质,加速商业增长。
Awesome-AITools
Awesome-AITools是一个收集了各类人工智能相关工具的综合资源平台,覆盖编程开发、图像创作、语音识别等多种应用。用户可以快速找到适应不同场景的AI工具,从开发和研究到日常使用,都能获得强大支持。特色包括开源共享、资源丰富、持续更新及社区支持。
CogVideo
CogVideoX和CogVideo通过大规模预训练模型和3D因果VAE技术,实现高质量的文本到视频生成。CogVideoX-2B可在单个3090 GPU上进行推理,生成效果几乎无损。提供详尽的快速入门指南、模型结构介绍和使用案例。探索CogVideoX和CogVideo在Huggingface、WeChat、Discord等平台上的应用,获取更多技术细节和更新。
Awesome-Video-Diffusion
本文汇集了视频生成、编辑、修复和理解领域的最新扩散模型研究。内容包括开源工具箱、基础模型、评估基准和指标等。涵盖基础视频生成、可控生成、长视频生成、3D视频生成等多个方向,为视频AI技术研究和开发提供全面参考。
VideoElevator
VideoElevator是一个开源的AI视频生成项目,通过结合文本到图像和文本到视频的扩散模型来提升生成视频的质量。该项目采用免训练、即插即用的方法,将视频生成过程分为时间运动细化和空间质量提升两个阶段。VideoElevator能在11GB以下显存的GPU上运行,支持多种扩散模型的协作,为高质量AI视频生成提供了新的解决方案。
MotionClone
MotionClone是一个无需训练的框架,通过从参考视频克隆动作来控制文本到视频的生成。该项目采用时间注意力机制和位置感知语义引导,有效处理微妙动作并提升生成模型的提示理解能力。MotionClone为视频创作和研究提供了全面的动作和语义指导工具,推动了可控视频生成技术的发展。
StreamingT2V
StreamingT2V是一种创新的自回归技术,专门用于生成长时间、连贯一致的视频内容。该技术无需分段处理即可创建动态丰富的视频,确保了时间上的连贯性,同时保持与文本描述的高度契合和单帧图像的优质表现。目前已实现生成1200帧(约2分钟)的视频,并具有进一步延长的潜力。值得注意的是,StreamingT2V的性能不局限于特定的文本到视频模型,这意味着随着基础模型的进步,视频质量有望进一步提升。
MotionDirector
MotionDirector是一款文本到视频扩散模型定制工具,可根据视频样本学习特定动作概念并应用于视频生成。该工具支持单个或多个参考视频,能准确捕捉动作特征,实现外观和动作的同步定制。此外,MotionDirector还具备图像动画和电影镜头效果功能,为AI视频创作提供更多可能性。