MMF 是一个来自 Facebook AI Research 的视觉和语言多模态研究的模块化框架。MMF 包含最先进的视觉和语言模型的参考实现,并支持了 Facebook AI Research 的多个研究项目。查看 MMF 内部或基于 MMF 构建的项目完整列表这里。
MMF 由 PyTorch 提供支持,允许分布式训练,且无偏见、可扩展且速度快。通过遵循安装说明,使用 MMF 为您的下一个视觉和语言多模态研究项目 快速启动。查看 MMF 功能列表这里。
MMF 还作为视觉和语言数据集挑战(如 Hateful Memes、TextVQA、TextCaps 和 VQA 挑战)的起始代码库。MMF 曾被称为 Pythia。下一个视频展示了数据集和模型在 MMF 内部如何工作。查看 MMF 的视频概览。
安装
按照文档中的安装说明进行操作。
文档
了解更多关于 MMF 的信息这里。
引用
如果您在工作中使用了 MMF 或使用了在 MMF 中发布的任何模型,请引用:
@misc{singh2020mmf,
author = {Singh, Amanpreet and Goswami, Vedanuj and Natarajan, Vivek and Jiang, Yu and Chen, Xinlei and Shah, Meet and
Rohrbach, Marcus and Batra, Dhruv and Parikh, Devi},
title = {MMF: A multimodal framework for vision and language research},
howpublished = {\url{https://github.com/facebookresearch/mmf}},
year = {2020}
}
许可
MMF 根据 LICENSE 文件中的 BSD 许可协议授权。