访问官网
Github
论文XPretrain项目介绍
XPretrain项目是由微软研究院的MSM小组开发的一个多模态学习项目，该项目致力于研究基于预训练方法的多模态学习，特别是在视频与语言、图像与语言的结合上。
多模态学习
多模态学习是指通过结合不同类型的数据，例如图像、视频和文字等，来提高模型的学习能力。XPretrain项目中主要聚焦于以下两个方面：
视频与语言
数据集
- HD-VILA-100M数据集：这是一个高分辨率且多样化的视频-语言数据集，专为训练和评估多模态模型而设计。
预训练模型
- HD-VILA (CVPR 2022)：这是一个高分辨率、多样化的视频-语言预训练模型。
- LF-VILA (NeurIPS 2022)：该模型针对长篇视频与语言的预训练而设计。
- CLIP-ViP (ICLR 2023)：将图像-语言预训练模型适配到视频-语言的预训练中。
图像与语言
预训练模型
- Pixel-BERT：一个端到端的图像与语言预训练模型。
- SOHO (CVPR 2021 oral)：改进的端到端图像与语言预训练模型，引入了量化的视觉标记。
- VisualParsing (NeurIPS 2021)：基于Transformer的端到端图像与语言预训练模型。
项目动态
- 2023年3月，发布了CLIP-ViP和LF-VILA的代码。
- 2023年1月，CLIP-ViP论文被ICLR 2023接收。
- 2022年9月，LF-VILA论文被NeurIPS 2022接收，同时发布HD-VILA的代码。
- 2022年3月，HD-VILA-100M数据集面向公众发布，并在同月HD-VILA被CVPR 2022接收。
参与贡献
该项目鼓励贡献和建议。大部分贡献需要签署贡献者许可协议（CLA），这确保了贡献者有权利并实际授予项目使用其贡献的权利。在提交拉取请求时，CLA机器人会自动判断是否需要提供CLA，并给出相应指示。
品牌及商标声明
此项目可能包含微软或其他公司的商标及徽标。使用需遵循相关的品牌指导原则，且不能引起误解或暗示微软赞助。
联系信息
如果在使用预训练模型时遇到问题，请提交问题反馈。此外，如需其他沟通，请联系刘贝博士（bei.liu@microsoft.com）或傅建龙博士（jianf@microsoft.com）。
