长时视频数据集助力AI视频生成研究
MiraData是一个为长视频生成任务设计的大规模数据集。其特点包括平均72秒的视频长度和详细的结构化字幕。数据集提供330K、93K、42K和9K四个版本,每个视频配有六类字幕:主要对象、背景、风格、相机运动、简短摘要和详细描述。这些特性使MiraData成为改进长序列视频处理和镜头转换建模的重要资源。
</div>Xuan Ju<sup>1*</sup>, Yiming Gao<sup>1*</sup>, Zhaoyang Zhang<sup>1*#</sup>, Ziyang Yuan<sup>1</sup>, Xintao Wang<sup>1</sup>, Ailing Zeng, Yu Xiong, Qiang Xu, Ying Shan<sup>1</sup> <br> <sup>1</sup>腾讯PCG ARC实验室 <sup>2</sup>香港中文大学 <sup>*</sup>同等贡献 <sup>#</sup>项目负责人
视频数据集在视频生成(如Sora)中起着至关重要的作用。然而,现有的文本-视频数据集在处理长视频序列和捕捉镜头转换方面往往存在不足。为了解决这些限制,我们推出了MiraData,这是一个专为长视频生成任务设计的视频数据集。此外,为了更好地评估视频生成中的时间一致性和运动强度,我们引入了MiraBench,它通过增加3D一致性和基于跟踪的运动强度指标来增强现有的基准。您可以在我们的研究论文中找到更多详细信息。
我们发布了四个版本的MiraData,分别包含330K、93K、42K、9K数据。
此版本MiraData的元文件可在Google Drive和HuggingFace数据集中获取。此外,为了更好 更快地理解我们的元文件组成,我们随机抽样了100个视频片段的集合,可以在这里访问。元文件包含以下索引信息:
{download_id}.{clip_id}
组成要下载视频并将其分割成片段,首先从Google Drive或HuggingFace数据集下载元文件。获得元文件后,您可以使用以下脚本下载视频样本:
python download_data.py --meta_csv {元文件} --download_start_id {下载ID的开始} --download_end_id {下载ID的结束} --raw_video_save_dir {保存原始视频的路径} --clip_video_save_dir {保存剪切视 频的路径}
<sup>如果您需要,我们将从我们的数据集/Github/项目网页中删除视频样本。请联系我们提出请求。</sup>
为了收集MiraData,我们首先手动选择不同场景的YouTube频道,并包括来自HD-VILA-100M、Videovo、Pixabay和Pexels的视频。然后,下载相应频道中的所有视频,并使用PySceneDetect进行分割。我们随后使用多个模型将短片段拼接在一起,并过滤掉低质量的视频。接着,我们选择了长时间的视频片段。最后,我们使用GPT-4V为所有视频片段添加字幕。
MiraData中的每个视频都配有结构化字幕。这些字幕从各个角度提供详细描述,增强了数据集的丰富性。
六种类型的字幕
我们测试了现有的 开源视觉语言模型方法和GPT-4V,发现GPT-4V的标题在时间序列的语义理解方面表现出更好的准确性和连贯性。
为了平衡标注成本和标题准确性,我们对每个视频均匀采样8帧,并将它们排列成2x4网格的一张大图像。然后,我们使用Panda-70M的标题模型为每个视频标注一句话标题,作为主要内容的提示,并将其输入我们微调的提示中。通过将微调的提示和2x4大图像输入GPT-4V,我们可以在一轮对话中高效输出多个维度的标题。具体提示内容可以在caption_gpt4v.py中找到,我们欢迎大家为更高质量的文本-视频数据做出贡献。:raised_hands:
<div style="display:inline-block" align=center> <img src="https://yellow-cdn.veclightyear.com/835a84d5/e92616ff-047f-4e1e-8364-6e6a192ed121.png" width="350"/> </div> <div style="display:inline-block" align=center>短标题、详细标题和结构化标题的文本长度统计。</div> <div style="display:inline-block" align=center> <img src="https://yellow-cdn.veclightyear.com/835a84d5/6b5afb16-f039-4cf8-b113-4d0f871d2bf3.png" width="300"/> <img src="https://yellow-cdn.veclightyear.com/835a84d5/cb917ec5-0377-4222-ae13-b7bf7f222456.png" width="300"/> </div> <div style="display:inline-block" align=center>短标题词云。 详细标题词云。</div>为了评估长视频生成,我们在MiraBench中从6个角度设计了17个评估指标,包括时间一致性、时间运动强度、3D一致 性、视觉质量、文本-视频对齐和分布一致性。这些指标涵盖了之前视频生成模型和文本到视频基准测试中使用的大多数常见评估标准。
要评估生成的视频,请首先通过以下方式设置Python环境:
pip install torch==1.12.1+cu116 torchvision==0.13.1+cu116 torchaudio==0.12.1 --extra-index-url https://download.pytorch.org/whl/cu116
pip install -r requirements.txt
然后,通过以下方式运行评估:
python calculate_score.py --meta_file data/evaluation_example/meta_generated.csv --frame_dir data/evaluation_example/frames_generated --gt_meta_file data/evaluation_example/meta_gt.csv --gt_frame_dir data/evaluation_example/frames_gt --output_folder data/evaluation_example/results --ckpt_path data/ckpt --device cuda
您可以按照data/evaluation_example
中的示例来评估您自己生成的视频。
请查看LICENSE。
如果您发现这个项目对您的研究有用,请引用我们的论文。:blush:
@misc{ju2024miradatalargescalevideodataset,
title={MiraData: A Large-Scale Video Dataset with Long Durations and Structured Captions},
author={Xuan Ju and Yiming Gao and Zhaoyang Zhang and Ziyang Yuan and Xintao Wang and Ailing Zeng and Yu Xiong and Qiang Xu and Ying Shan},
year={2024},
eprint={2407.06358},
archivePrefix={arXiv},
primaryClass={cs.CV},
url={https://arxiv.org/abs/2407.06358},
}
如有任何疑问,请发送电子邮件至mira-x@googlegroups.com
。
MiraData遵循GPL-v3许可,并支持商业用途。如果您需要YOLO-World的商业许可,请随时与我们联系。
一键生成PPT和Word,让学习生活更轻松
讯飞智文是一个利用 AI 技术的项目,能够帮助用户生成 PPT 以及各类文档。无论是商业领域的市场分析报告、年度目标制定,还是学生群体的职业生涯规 划、实习避坑指南,亦或是活动策划、旅游攻略等内容,它都能提供支持,帮助用户精准表达,轻松呈现各种信息。
深度推理能力全新升级,全面对标OpenAI o1
科大讯飞的星火大模型,支持语言理解、知识问答和文本创作等多功能,适用于多种文件和业务场景,提升办公和日常生活的效率。讯飞星火是一个提供丰富智能服务的平台,涵盖科技资讯、图像创作、写作辅助、编程解答、科研文献解读等功能,能为不同需求的用户提供便捷高效的帮助,助力用户轻松获取信息、解决问题,满足多样化使用场景。
一种基于大语言模型的高效单流解耦语音令牌文本到语音合成模型
Spark-TTS 是一个基于 PyTorch 的开源文本到语音合成项目,由多个知名机构联合参与。该项目提供了高效的 LLM(大语言模型)驱动的语音合成方案,支持语音克隆和语音创建功能,可通过命令行界面(CLI)和 Web UI 两种方式使用。用户可以根据需求调整语音的性别、音高、速度等参数,生成高质量的语音。该项目适用于多种场景,如有声读物制作、智能语音助手开发等。
字节跳动发布的AI编程神器IDE
Trae是一种自适应的集成开发环境(IDE),通过自动化和多元协作改变开发流程。利用Trae,团队能够更快速、精确地编写和部署代码,从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能,是提升开发效率的理想工具。
AI助力,做PPT更简单!
咔片是一款轻量化在线演示设计工具,借助 AI 技术,实现从内容生成到智能设计的一站式 PPT 制作服务。支持多种文档格式导入生成 PPT,提供海量模板、智能美化、素材替换等功能,适用于销售、教师、学生等各类人群,能高效制作出高品质 PPT,满足不同场景演示需求。
选题、配图、成文,一站式创作,让内容运营更高效
讯飞绘文,一个AI集成平台,支持写作、选题、配图、排版和发布。高效生成适用于各类媒体的定制内容,加速品牌传播,提升内容营销效果。
专业的AI公文写作平台,公文写作神器
AI 材料星,专业的 AI 公文写作辅助平台,为体制内工作人员提供高效的公文写作解决方案。拥有海量公文文库、9 大核心 AI 功能,支持 30 + 文稿类型生成,助力快速完成领导讲话、工作总结、述职报告等材料,提升办公效率,是体制打工人的得力写作神器。
OpenAI Agents SDK,助力开发者便捷使用 OpenAI 相关功能。
openai-agents-python 是 OpenAI 推出的一款强大 Python SDK,它为开发者提供了与 OpenAI 模型交互的高效工具,支持工具调用、结果处理、追踪等功能,涵盖多种应用场景,如研究助手、财务研究等,能显著提升开发效率,让开发者更轻松地利用 OpenAI 的技术优势。
高分辨率纹理 3D 资产生成
Hunyuan3D-2 是腾讯开发的用于 3D 资产生成的强大工具,支持从文本描述、单张图片或多视角图片生成 3D 模型,具备快速形状生成能力,可生成带纹理的高质量 3D 模型,适用于多个领域,为 3D 创作提供了高效解决方案。
一个具备存储、管理和客户端操作等多种功能的分布式文件系统相关项目。
3FS 是一个功能强大的分布式文件系统项目,涵盖了存储引擎、元数据管理、客户端工具等多个模块。它支持多种文件操作,如创建文件和目录、设置布局等,同时具备高效的事件循环、节点选择和协程池管理等特性。适用于需要大规模数据存储和管理的场景,能够提高系统的性能和可靠性,是分布式存储领域的优质解决方案。
最新AI工具、AI资讯
独家AI资源、AI项目落地
微信扫一扫关注公众号