#视频合成
generative-models
Generative Models项目展示了多个创新模型如SV4D与SV3D,专注于视频到4D扩散建模和图像到视频的多视角合成,旨在提供高分辨率和时间连贯性的研究工具。最新技术报告和视频概览现已发布,支持通过简单的脚本和快速入门指南直接体验模型效果,适用于研究及教育用途。
Text2Video
Text2Video采用深度学习技术,通过建立音素姿势字典与训练生成对抗网络,从文本生成视频,该技术相较于传统音频驱动的视频生成方法,具有更少的数据需求、更高的灵活性和更低的时间成本。在标准数据集上的广泛测试证明了其显著的效果和优势。
DisCo
DisCo 是一个生成逼真人类舞蹈的多用途工具包,支持图像与视频生成。它具有优秀的泛化能力,无需人类特定的微调,同时提供特定人类的细调,以满足多样化的研究需求。其框架操作简便,支持高效训练和多种研究方向。DisCo 在实际应用中表现出色,支持预训练、细调和人类特定细调,适用于广泛的应用场景。用户可以通过在线演示或本地部署模型推理,研究人员也可以利用该代码库进行再实现和开发。
videocomposer
VideoComposer是一个开源的视频合成模型,能够同时控制生成视频的空间和时间特征。它支持文本、草图、参考视频等多种输入形式,为用户提供灵活的创作方式。项目包含预训练模型和用户界面,便于研究人员和开发者进行视频合成实验。
hallo
Hallo是一个分层音频驱动的视觉合成框架,用于生成人像图像动画。该框架可根据输入音频创建高质量的说话头像视频,支持重现多种经典电影场景。Hallo采用分层设计,整合多个先进模型,实现精细的面部表情和唇形同步。项目提供完整的训练和推理代码,适用于多种应用场景。
Moore-AnimateAnyone
Moore-AnimateAnyone是一个开源的人物动画生成项目,可基于单张参考图像和动作序列生成视频动画。项目还包含人脸重演功能,能精确控制源图像表情和动作。目前已开源推理代码和预训练模型,提供在线演示。未来计划加入音频驱动的人像视频生成等新功能,持续为AIGC领域贡献创新技术。
zeroscope_v2_576w
zeroscope_v2_576w是基于Modelscope开发的视频生成模型,支持生成576x320分辨率、24帧的16:9视频。模型通过9,923个视频片段和29,769个标记帧训练而成,可与zeroscope_v2_XL模型配合使用vid2vid技术进行视频放大。在渲染30帧576x320视频时占用显存7.9GB。