访问官网
GithubVideoTuna项目是一个创新的代码库，专注于文本到视频应用的开发。它声称是首个将多种AI视频生成模型整合到文本到视频、图像到视频和文本到图像生成中的项目。VideoTuna提供了涵盖视频生成全过程的综合性流程，包括预训练、持续训练、后训练（对齐）以及微调。
项目中使用的模型包括U-Net和DiT架构，用于视觉生成任务。此外，他们还即将推出一个新的3D视频VAE和一个可控的面部视频生成模型。
项目特点
- 综合框架：支持最新的视频生成模型的推理和微调。
- 预训练：用户可以构建自己的基础文本到视频模型。
- 持续训练：可以通过新数据不断改进模型。
- 领域特定微调：可以根据特定场景调整模型适应性。
- 概念特定微调：可以让模型学习独特的概念。
- 语言理解增强：通过持续训练提高模型对语言的理解。
- 后处理：使用视频到视频的增强模型提高视频质量。
- 后训练/人类偏好对齐：通过RLHF进行后训练，以获得更具有吸引力的结果。
最新更新
截至2024年11月1日，VideoTuna版本0.1.0正式对外公开。
演示
3D视频VAE
VideoTuna的3D视频VAE可以精确地压缩和重建输入视频，并保留微小细节。这项技术为用户提供了极好的视频压缩和重建体验。
面部领域
在面部视频生成方面，VideoTuna展示了数个输入和重建的对比，展现了它在面部视频精细重建上的实力。这些演示图片在视频压缩重建中展示了出色的细节保持能力，使得这一功能在面部视频应用中具有重要意义。
