#视频生成

该项目利用AI技术生成视频，通过用户的故事提示，采用OpenAI的GPT-3生成文本，OpenAI的DALL-E生成图像，并用ElevenLabs API进行语音合成，最终合成一个视频。项目要求安装Python 3.6或更高版本、pip、FFmpeg等工具，以及配置OpenAI和ElevenLabs API密钥。用户还可修改代码来制作特定主题的视频，如俳句或蜜蜂知识，并自定义图像和语音设置，实现个性化的视频创作体验。

SEINE模型是一个专为短视频到长视频生成设计的视频扩散模型，支持过渡效果和视频预测。作为Vchitect视频生成系统的一部分，SEINE基于稳定扩散v1.4模型，支持从文本生成视频的框架LaVie。用户通过配置脚本可生成不同条件下的视频，文档中提供了详细的设置和使用说明。项目提供模型下载链接，并展示了实际的输入图像和输出视频效果。代码以Apache-2.0开源许可发布，可用于学术研究和商业用途。

FreeInit改进了视频扩散模型的一致性，通过简单的频率滤波器实现噪声重初始化，无需额外训练。已集成至Diffusers和ComfyUI-AnimateDiff-Evolved，可在Hugging Face上体验在线demo。项目代码和示例脚本方便研究人员应用。

FreeNoise是一种基于噪声重调的无调参长视频生成方法，不需要调参，仅需增加不到20%的时间即可实现高质量、长时间视频生成，支持多达512帧。该方法兼容VideoCrafter2、AnimateDiff和LaVie等视频框架，支持单一和多提示词的文本转视频生成，最新支持256x256分辨率。详情请参见项目页面和arXiv论文。

Animate-A-Story是一个创新的视频叙事框架，通过检索增强和结构引导的方式生成高质量、可控的故事视频。该框架包含运动结构检索和文本引导的视频合成两个核心模块，能够基于现有视频素材创建连贯的叙事内容。这种方法不仅提高了视频创作的效率，还为创作者提供了对视频结构和角色的精确控制，展现了在实际应用中的巨大潜力。

VideoCrafter2是一个开源的视频生成和编辑工具，致力于克服数据限制，提高视频扩散模型质量。它支持文本到视频和图像到视频的生成，在有限数据条件下实现了更好的动态效果和概念组合。该工具提供高分辨率输出和更高的一致性，为研究人员和创作者提供了实用的视频内容制作方案。

Make-Your-Video是一个结合文本和深度信息的视频生成模型。它继承了图像潜在扩散模型的丰富视觉概念，支持长视频推理。该模型可将真实场景和3D建模场景转化为视频，并支持视频重渲染。相比其他方法，Make-Your-Video在视觉质量和动作控制方面表现优异，为视频创作提供了新的可能性。

CV-VAE是一种视频变分自编码器，专为潜在生成视频模型设计。它与预训练图像和视频模型（如SD 2.1和SVD）兼容，用于视频重建和生成。项目提供代码实现和预训练模型权重，支持视频重建和文本到视频转换。CV-VAE为视频生成技术研究提供了新的工具和方向。

Open-Sora是一个开源视频生成项目，支持2-15秒、144p到720p、任意宽高比的文本、图像和视频生成视频功能。项目提供完整的视频处理流程，包括数据预处理、模型训练和推理。通过开放源代码，Open-Sora致力于普及先进的视频生成技术，促进内容创作领域的创新发展。

本文汇集了视频生成、编辑、修复和理解领域的最新扩散模型研究。内容包括开源工具箱、基础模型、评估基准和指标等。涵盖基础视频生成、可控生成、长视频生成、3D视频生成等多个方向，为视频AI技术研究和开发提供全面参考。

Latte是一种新型视频生成模型，采用潜在扩散Transformer技术。该模型在多个标准数据集上表现优异，并支持文本到视频的生成。项目提供PyTorch实现、预训练模型和相关代码，为视频生成研究提供了重要参考。Latte在建模视频分布方面采用了创新方法，为未来研究提供了新的思路。

TATS项目是一个创新的长视频生成框架，通过结合时间无关的VQGAN和时间敏感的Transformer模型，实现了高效的长视频生成。该技术仅需使用数十帧视频进行训练，就能利用滑动窗口方法生成包含数千帧的连贯视频。TATS支持无条件生成以及基于文本、音频等条件的视频生成，为视频内容创作开辟了新的可能性。

CameraCtrl是一款基于AnimateDiffV3和SVD技术的视频生成模型，通过精确控制相机轨迹来创造连贯的多视角视频。该模型支持自定义相机移动路径，不仅适用于文本到视频生成，还能与RealEstate10K LoRA等模型结合，扩展应用场景。CameraCtrl为AI视频创作提供了更多可能性，使生成的视频内容更加丰富多样。

VideoElevator是一个开源的AI视频生成项目，通过结合文本到图像和文本到视频的扩散模型来提升生成视频的质量。该项目采用免训练、即插即用的方法，将视频生成过程分为时间运动细化和空间质量提升两个阶段。VideoElevator能在11GB以下显存的GPU上运行，支持多种扩散模型的协作，为高质量AI视频生成提供了新的解决方案。

VADER是一种基于奖励梯度的视频生成质量优化技术。该方法无需大规模标注数据集，即可有效提高视频与文本的一致性、美观度，并生成更长时间的高质量视频。VADER兼容多个主流视频生成模型，如VideoCrafter2、Open-Sora和ModelScope，能显著提升其生成能力。项目提供了详细的安装、推理和训练指南，便于研究人员和开发者进行实验和应用。

本项目综述了大语言模型在多模态生成和编辑领域的应用。涵盖图像、视频、3D和音频等多种模态，重点介绍基于大语言模型的技术。同时探讨多模态代理、理解和安全性问题。为研究人员提供全面资源，展示大语言模型在多模态内容创作中的最新进展。

DiffSynth Studio是一款开源的扩散模型引擎，整合了ExVideo、Stable Diffusion 3和Kolors等多种AI模型。该引擎支持长视频合成、高分辨率图像生成、卡通渲染和视频风格化等功能。项目持续更新，重点探索扩散模型在视频合成领域的应用潜力。

ControlNeXt是一个创新的可控生成框架，支持图像和视频的多样化控制。该项目大幅减少可训练参数，提高收敛速度和效率。基于Stable Diffusion等先进模型，ControlNeXt实现了包括人体姿态控制在内的多种生成任务。此外，它还可与LoRA等技术结合，提供更灵活、稳定的生成体验。

DynamiCrafter是一个图像动画化项目,能够基于文本提示将静态图像转换为动态视频。该项目利用预训练的视频扩散模型,生成高分辨率、连贯性强的动画。除了基础的图像动画化功能,DynamiCrafter还支持故事视频生成、帧插值和循环视频生成等应用。该项目在ECCV 2024会议上进行了口头报告,并在多项图像到视频生成基准测试中表现出色。

ToonCrafter是一个开源项目，专注于卡通图像插帧生成。它利用预训练的图像到视频扩散模型，可生成最多16帧、分辨率512x320的动画序列。该工具支持稀疏草图引导和基于参考的草图着色功能。项目提供代码和模型权重，为卡通动画创作提供新的可能性。ToonCrafter主要用于研究目的，不对潜在的滥用负责。

VGen是一个功能丰富的开源视频生成工具库。它整合了多个先进的视频生成模型，可根据文本、图像、动作和主体等输入创建高质量视频。VGen提供可视化、采样、训练和推理等实用工具，支持图像到视频、文本到视频等多种任务。该项目具有良好的扩展性和完整性，由阿里巴巴集团通义实验室开发。

UniAnimate是一个用于生成长时间人物视频的创新框架。它将参考图像、姿势指导和噪声视频映射到共同特征空间，并支持随机和首帧条件输入。该方法在评估中优于现有技术，可生成高度一致的一分钟视频，为人物图像动画带来新的可能。

VEnhancer是一个时空增强框架，旨在提高文本到视频(T2V)生成模型的输出质量。该框架基于ControlNet结构，整合了预训练视频扩散模型的多帧编码器和中间块，构建可训练的条件网络。VEnhancer接收低分辨率关键帧和完整噪声潜在帧作为输入，通过噪声增强和下采样因子进行网络调节，从而生成更高质量、更连贯的视频内容。

该资源库汇集了视觉生成评估领域的各种方法。内容涵盖图像和视频生成模型评估、样本质量评估及用户控制一致性评估等多个方面。项目详细介绍了Inception Score、Fréchet Inception Distance等经典指标及最新评估方法。同时收录了视觉生成改进研究和其他相关资源,为该领域研究者提供全面参考。

MotionAgent是一个基于深度学习的视频生成工具，集成了脚本创作、场景图生成、视频制作和背景音乐创作功能。该工具支持根据指定主题自动生成脚本，可生成高分辨率视频和自定义风格背景音乐。MotionAgent基于ModelScope开源模型社区开发，为视频创作提供了自动化解决方案。

MotionClone是一个无需训练的框架，通过从参考视频克隆动作来控制文本到视频的生成。该项目采用时间注意力机制和位置感知语义引导，有效处理微妙动作并提升生成模型的提示理解能力。MotionClone为视频创作和研究提供了全面的动作和语义指导工具，推动了可控视频生成技术的发展。

VideoBooth是一个AI视频生成项目，利用扩散模型技术基于图像提示创建视频。该项目将静态图像主体转化为动态视频，实现图像到视频的转换。VideoBooth采用两阶段训练方法，提供安装、推理和训练指南。项目还公开了专门数据集，为研究提供资源。

LaVie是一个基于级联潜在扩散模型的文本到视频生成框架。它通过基础模型生成、视频插值和超分辨率三个步骤,可生成16至61帧、最高1280x2048分辨率的高质量视频。该框架支持多种采样方法和参数调整,用户可通过简单命令生成不同风格视频。LaVie开源了模型代码和预训练权重,便于学术研究和商业应用。

Vlogger是一个创新AI系统,可根据文本描述生成分钟级视频博客。该系统利用大型语言模型作为导演,将长视频生成任务分解为四个阶段,并调用多种基础模型扮演专业角色。Vlogger引入了视频扩散模型ShowMaker,融合文本和视觉提示以增强空间-时间连贯性。系统能从开放描述生成超过5分钟的连贯vlogs,在脚本和演员方面保持一致性。

MotionCtrl是一个统一的视频生成动作控制系统，可独立调节生成视频中的相机和物体运动。该项目兼容SVD、VideoCrafter和AnimateDiff等多个视频生成模型，并提供训练代码、推理脚本和在线演示。通过MotionCtrl，研究人员和内容创作者能够更精确地控制生成视频的动作效果，从而提高视频生成的质量和灵活性。

MimicMotion是一个创新的视频生成框架，可基于任意动作指导生成高质量的长视频。该项目采用置信度感知的姿态引导技术，提高了时间平滑性和模型鲁棒性。通过区域损失放大和渐进式潜在融合策略，MimicMotion有效解决了图像失真问题，并能以较低的资源消耗生成长视频。这一技术在视频质量、控制性和生成长度等方面显著优于现有方法，为人体运动视频生成领域开辟了新的可能性。

DreaMoving是一个基于扩散模型的视频生成框架，专注于创建高质量的定制人物视频。该系统可根据文本描述在多样化场景中生成人物动作视频，例如海滩、公园和埃及金字塔等。这个由阿里巴巴智能计算研究院开发的项目提供中英文在线演示，体现了人工智能在视频生成领域的最新技术进展。

MiraData是一个为长视频生成任务设计的大规模数据集。其特点包括平均72秒的视频长度和详细的结构化字幕。数据集提供330K、93K、42K和9K四个版本，每个视频配有六类字幕：主要对象、背景、风格、相机运动、简短摘要和详细描述。这些特性使MiraData成为改进长序列视频处理和镜头转换建模的重要资源。

talk-llama-fast是一个开源的AI语音对话系统,支持实时语音识别、自然语言生成和语音合成,可进行多语言交互。系统集成了视频生成功能,能创建与音频同步的唇形动画。采用流式处理和激进VAD等优化技术,实现低延迟响应。提供多种语音命令和中断机制,增强交互体验。适用于开发AI助手、虚拟角色等应用。

EasyAnimate是一个开源的高分辨率长视频生成框架。该项目基于Transformer架构,采用类Sora结构和DIT技术,使用Transformer作为视频生成的扩散器。EasyAnimate支持训练扩散模型生成器、处理长视频的VAE和元数据预处理。用户可直接使用预训练模型生成多种分辨率的6秒24帧视频,也可训练自定义基线模型和Lora模型实现特定风格转换。

ComfyUI-I2VGenXL 项目将 I2VGenXL 模型集成到 ComfyUI 中，实现高质量视频生成。该项目支持 1280*704 分辨率输出，通过正负提示词控制生成过程。其自然动效和优质光影效果使其成为当前表现出色的高清视频模型。项目设计了标准工作流，支持文生视频和图生视频，并集成自动补帧功能，为视频创作提供完整解决方案。