AliceMind
AliceMind: 阿里巴巴 MinD 实验室 (Machine IntelligeNce of Damo) 的 Encoder-decoder 模型合集
该仓库提供了由阿里巴巴 MinD 实验室开发的预训练的 encoder-decoder 模型及相关优化技术。
AliceMind 家族:
- 预训练模型:
- 发布第一个通过模态协作增强 LLM 和 MLLM 的多模态大语言模型:mPLUG-Owl2 (
CVPR 2024
) - 发布第一个无需 OCR 的通用文档理解多模态大语言模型:mPLUG-DocOwl (
EMNLP 2023
) - 发布第一个最大中文视频语言预训练数据集和基准:Youku-mPLUG,以及名为mPLUG-video 的中文视频大语言模型。
- 一种具有模块化设计的大规模多模态语言模型的新训练范式:mPLUG-Owl
- 面向数字人的大规模中文开放域对话系统:ChatPLUG
- 覆盖文本、图像和视频的模块化多模态基础模型:mPLUG-2 (
ICML 2023
) - 大规模视觉语言理解和生成模型:mPLUG (
EMNLP 2022
) - 大规模中文理解和生成模型:PLUG
- 表格预训练模型:SDCUP (
尚在评审中
) - 多粒度输入的中文语言理解模型:LatticeBERT (
NAACL 2021
) - 结构化语言模型:StructuralLM (
ACL 2021
) - 跨模态语言模型:StructVBERT (
CVPR 2020 VQA Challenge 亚军
) - 跨语言语言模型:VECO (
ACL 2021
) - 生成语言模型:PALM (
EMNLP 2020
) - 语言理解模型:StructBERT (
ICLR 2020
)
- 发布第一个通过模态协作增强 LLM 和 MLLM 的多模态大语言模型:mPLUG-Owl2 (
- 微调方法:
- 参数高效稀疏性方法 PST (
IJCAI 2022
) - 有效且可泛化的微调方法 ChildTuning (
EMNLP 2021
)
- 参数高效稀疏性方法 PST (
- 模型压缩:
- 语言模型压缩方法 ContrastivePruning (
AAAI 2022
)
- 语言模型压缩方法 ContrastivePruning (
新闻
- 2023 年 11 月 9 日: mPLUG-Owl2,第一个通过模态协作增强 LLM 和 MLLM 的多模态大语言模型,被 CVPR 2024 接收。
- 2023 年 7 月 7 日: mPLUG-DocOwl,第一个无需 OCR 的通用文档理解多模态大语言模型,被 EMNLP 2023 接收。
- 2023 年 6 月 8 日: Youku-mPLUG,发布第一个最大公共中文视频语言预训练数据集和基准,及名为mPLUG-video 的中文视频大语言模型。
- 2023 年 4 月 27 日: mPLUG-Owl,具有模块化设计的大规模多模态语言模型新训练范式发布。
- 2023 年 4 月 25 日: mPLUG-2 被 ICML 2023 接收。
- 2023 年 4 月 16 日: ChatPLUG,面向数字人应用的中文开放域对话系统发布。
- 2022 年 10 月: mPLUG 被 EMNLP 2022 接收。
- 2022 年 5 月: PST 被 IJCAI 2022 接收。
- 2022 年 4 月: SOFA 建模工具包发布,支持标准代码的模型和技术及其在 Transformers 中的直接使用!
- 2021 年 12 月: ContrastivePruning 被 AAAI 2022 接收。
- 2021 年 10 月: ChildTuning 被 EMNLP 2021 接收。
- 2021 年 9 月: 首个中文预训练表格模型 SDCUP 发布!
- 2021 年 5 月: VECO 和 StructuralLM 被 ACL 2021 接收。
- 2021 年 3 月: AliceMind 发布!
预训练模型
-
mPLUG-Owl (2023 年 4 月 27 日): 一种具有模块化设计的大规模多模态语言模型的新训练范式。学习视觉知识,同时支持由不同模态组成的多轮对话。观察到的能力包括多图像相关性和场景文本理解、基于视觉的文档理解。发布一个名为 OwlEval 的视觉相关指令评估集。mPLUG-Owl: 模块化赋能多模态大语言模型
-
ChatPLUG (2023 年 4 月 16 日): 一个面向数字人应用的中文开放域对话系统,在广泛的对话任务上进行指令微调,以统一的互联网增强格式进行。不同于其他专注于大型预训练和扩大模型规模或对话语料库的开放域对话模型,我们旨在通过互联网增强的指令微调,构建一个功能强大且实用的数字人对话系统,具有多样化的技能和良好的多任务泛化能力。ChatPLUG: 开放域生成对话系统,通过互联网增强指令微调实现数字人
-
mPLUG (2022 年 9 月 1 日): 大规模视觉语言理解和生成的预训练模型。mPLUG 在大规模图像文本对上进行端到端预训练,同时具有判别性和生成性目标。在广泛的视觉语言下游任务上达到了最先进的结果,包括图像描述、图像文本检索、视觉定位和视觉问答。mPLUG: 通过跨模态跳跃连接实现有效的多模态学习 (
EMNLP 2022
) -
PLUG (2022 年 9 月 1 日): 大规模中文预训练模型,面向理解和生成。PLUG (27B) 是一个大规模的中文预训练模型,专门用于语言理解和生成。PLUG 的训练分为两个阶段,第一个阶段是一个 24 层的 StructBERT 编码器,第二个阶段是一个 24-6 层的 PALM 编码解码器。
-
SDCUP (2021 年 9 月 6 日): 用于表格理解的预训练模型。我们设计了一个模式依赖预训练目标,以将所需的归纳偏差强加到表格预训练的学习表示中。我们进一步提出了一种模式感知的课程学习方法,以减轻噪声的影响,并以从易到难的方式有效地从预训练数据中学习。在 SQUALL 和 Spider 上的实验结果表明,与各种基线相比,我们的预训练目标和课程学习方法的有效性。"SDCUP: 模式依赖增强课程预训练,用于表格语义解析" (
尚在评审中
) -
LatticeBERT (2021年3月15日): 我们提出了一种用于汉语的新型预训练范式——Lattice-BERT,它将词表示与字符表示显式结合,从而可以以多粒度方式建模句子。"Lattice-BERT: Leveraging Multi-Granularity Representations in Chinese Pre-trained Language Models" (
NAACL 2021
) -
StructuralLM (2021年3月15日): 用于文档图像理解的预训练模型。我们提出了一种新的预训练方法,StructuralLM,结合扫描文档中的单元格和布局信息。预训练的StructuralLM在不同类型的下游任务中取得了新的最先进成果。"StructuralLM: Structural Pre-training for Form Understanding" (
ACL 2021
) -
StructVBERT (2021年3月15日): 用于视觉-语言理解的预训练模型。我们提出了一种新的单流视觉-语言预训练方案,通过多阶段渐进预训练和多任务学习。StructVBERT获得了2020年VQA挑战赛的亚军,并在VQA 2020公共测试标准基准上达到了SOTA结果(2020年6月)。"Talk Slides" (
CVPR 2020 VQA Challenge Runner-up
) -
VECO v0 (2021年3月15日): 用于**跨语言的自然语言理解(x-NLU)和生成(x-NLG)**的预训练模型。VECO (v0)在XTREME基准的各类跨语言理解任务上取得了新的SOTA结果,涵盖文本分类、序列标注、问答和句子检索。在跨语言生成任务中,它也超越了所有现有的跨语言模型和最先进的Transformer变体在WMT14英译德和英译法的翻译数据集上,提升幅度达1~2 BLEU分。"VECO: Variable Encoder-decoder Pre-training for Cross-lingual Understanding and Generation" (
ACL 2021
) -
PALM (2021年3月15日): 用于**自然语言生成(NLG)**的预训练模型。我们提出了一种新颖的方案,在大量未标注语料上同时预训练自编码和自回归语言模型,特别设计用于生成根据上下文的新文本。在多个下游任务中取得了新的SOTA结果。"PALM: Pre-training an Autoencoding&Autoregressive Language Model for Context-conditioned Generation" (
EMNLP 2020
) -
StructBERT (2021年3月15日): 用于**自然语言理解(NLU)**的预训练模型。我们将BERT扩展到一个新模型StructBERT,通过在预训练中加入语言结构。具体来说,我们通过两个辅助任务预训练StructBERT,以最大限度地利用单词和句子的顺序,从而在单词和句子层面利用语言结构。"StructBERT: Incorporating Language Structures into Pre-training for Deep Language Understanding" (
ICLR 2020
)
微调方法
- ChildTuning (2021年10月25日): 为解决过拟合问题并提高大规模PLM微调的泛化性,我们提出了一种简单但有效的微调技术,ChildTuning,通过策略性地屏蔽非子网络的梯度,仅在微调子网络时进行更新。"Raise a Child in Large Language Model: Towards Effective and Generalizable Fine-tuning" (
EMNLP 2021
)
模型压缩
-
ContrastivePruning (2021年12月17日): ContrAstive Pruning (CAP) 是在预训练和微调范式下的一种通用剪枝框架,旨在剪枝过程中保持任务特定和任务无关的知识。CAP设计为一个通用框架,兼容结构化和非结构化剪枝。在对比学习的统一下,CAP鼓励剪枝后的模型分别从预训练模型、剪枝过程中的快照(中间模型)以及微调模型中学习。"From Dense to Sparse: Contrastive Pruning for Better Pre-trained Language Model Compression" (
AAAI 2022
) -
PST (2022年5月23日): 参数高效稀疏训练 (PST)旨在减少下游任务中稀疏训练期间的可训练参数数目。它结合了无数据和数据驱动标准,以高效且准确地衡量权重的重要性,探讨了数据驱动的权重要性内在冗余并推导出两个明显的特征,即低秩性和结构性,从而使得稀疏训练在资源和参数方面都更高效。"Parameter-Efficient Sparsity for Large Language Models Fine-Tuning" (
IJCAI 2022
)
建模工具包
- SOFA SOFA旨在便捷使用和分发来自阿里巴巴达摩院AliceMind项目的预训练语言模型。此外,项目中的详细示例使任何终端用户都可以轻松访问这些模型。
联系信息
AliceMind 官方网站: https://nlp.aliyun.com/portal#/alice
AliceMind 开放平台: https://alicemind.aliyuncs.com
如果您需要帮助或在使用ALICE时遇到问题,请提交GitHub问题。
欲了解更多信息,您可以加入钉钉上的AliceMind 用户组
来联系我们。钉钉群号为35738533。
其他业务联系,请电邮至 nlp-support@list.alibaba-inc.com
许可证
AliceMind根据Apache 2.0 许可证发布。
版权所有 1999-2020 阿里巴巴集团控股有限公司。
根据Apache许可证第2.0版(“许可证”)许可使用;除非符合许可证,否则您不得使用此文件。
您可以通过以下链接获得许可证副本。
http://www.apache.org/licenses/LICENSE-2.0
除非适用法律要求或书面同意,否则根据许可证分发的软件按“原样”分发,不提供任何明示或暗示的担保。
请参阅许可证以了解具体语言的权限和限制。