挪威Transformer模型

挪威国家图书馆拥有"NoTraM - 挪威Transformer模型"项目。

项目目标

• 基于现代Transformer架构(BERT、Roberta、T5等)为挪威语和北欧语言构建Transformer模型
• 构建并发布用于无监督语言训练的最先进挪威语语料库，并向自然语言处理社区开放

挪威超大型语料库

挪威超大型语料库是一个开放的文本语料库，在规模和质量上可与现有的英语数据集相媲美。

该语料库的核心基于2006年启动的一个独特项目。在数字化项目中,目标一直是将所有曾经用挪威语出版的内容进行数字化并存储。此外，我们还添加了多个其他挪威语文本的公共来源。有关来源以及如何构建的详细信息,可在挪威超大型语料库说明中找到。

[语料库表格内容略]

访问语料库最简单的方法是从HuggingFace下载。该网站详细解释了如何使用语料库。它还提供了有关语料库内容的广泛信息,以及如何过滤语料库的某些部分,以及如何将其与其他挪威语数据集(如MC4和OSCAR)结合使用。

除了语料库本身,我们还提供了一组用于创建和清理语料库文件的脚本。我们还提供了一个指南,您可以按照我们的步骤为您的数据源创建语料库,以及如何创建和上传HuggingFace数据集的说明。其他工具和指南也可以在我们的指南页面上找到。我们已经将所有软件开放供任何人使用。大部分是用Python 3编写的。

预训练模型

以下预训练模型可用。这些模型需要在特定任务上进行微调。如果您有可用的数据集,微调是很简单的。请查看下面的Colab示例代码。通常只需更改几行代码即可适应您的任务。

[预训练模型表格内容略]

微调模型

这些模型已经在特定任务上进行了微调,可以直接使用。

[微调模型表格内容略]

结果

NB-BERT-Base模型在下面引用的文章中进行了全面测试。以下是我们的一些结果:

[结果表格内容略]

• 测试数据集的F1分数。两个模型都以3e-5的学习率微调了4个epoch。

Colab 笔记本

原始模型需要针对目标任务进行微调。典型的任务是分类，建议您为这个特定任务训练一个顶层全连接层。以下笔记本将允许您测试模型，并在我们的模型基础上训练您自己的专门模型。特别是关于分类模型的笔记本，它训练了一个情感分类任务，可以很容易地适应于训练任何自然语言处理分类任务。

免责声明

本仓库发布的模型旨在用于通用目的，并可供第三方使用。这些模型可能存在偏见和/或其他不良影响。 当第三方使用这些模型（或基于这些模型的系统）部署或向其他方提供系统和/或服务，或成为这些模型的用户时，他们应注意，缓解使用带来的风险是他们的责任，并且在任何情况下都应遵守适用的法规，包括有关人工智能使用的法规。 在任何情况下，模型所有者（挪威国家图书馆）均不对第三方使用这些模型所产生的任何结果负责。

引用

如果您使用我们的模型或语料库，请引用我们的文章：

@inproceedings{kummervold-etal-2021-operationalizing,
title = {Operationalizing a National Digital Library: The Case for a Norwegian Transformer Model},
author = {Kummervold, Per E  and
  De la Rosa, Javier  and
  Wetjen, Freddy  and
  Brygfjeld, Svein Arne},
booktitle = {Proceedings of the 23rd Nordic Conference on Computational Linguistics (NoDaLiDa)},
year = {2021},
address = {Reykjavik, Iceland (Online)},
publisher = {Link{\"o}ping University Electronic Press, Sweden},
url = {https://aclanthology.org/2021.nodalida-main.3},
pages = {20--29},
abstract = {In this work, we show the process of building a large-scale training set from digital and digitized collections at a national library. The resulting Bidirectional Encoder Representations from Transformers (BERT)-based language model for Norwegian outperforms multilingual BERT (mBERT) models in several token and sequence classification tasks for both Norwegian Bokm{\aa}l and Norwegian Nynorsk. Our model also improves the mBERT performance for other languages present in the corpus such as English, Swedish, and Danish. For languages not included in the corpus, the weights degrade moderately while keeping strong multilingual properties. Therefore, we show that building high-quality models within a memory institution using somewhat noisy optical character recognition (OCR) content is feasible, and we hope to pave the way for other memory institutions to follow.},
}