Huggingfacexlm-roberta-large-ner-hrl 项目介绍
模型描述
xlm-roberta-large-ner-hrl 是一个用于识别命名实体的模型，适用于十种资源丰富的语言。这十种语言包括阿拉伯语、德语、英语、西班牙语、法语、意大利语、拉脱维亚语、荷兰语、葡萄牙语及中文。该模型基于经过微调的 XLM-RoBERTa large 模型，可以识别三种实体类型：地点（LOC）、组织（ORG）和人物（PER）。具体来说，这个模型是在聚合的十种高资源语言上微调的 xlm-roberta-large 模型。
使用目的及限制
如何使用
用户可以使用 Transformers 库中的 pipeline 来进行命名实体识别（NER）。以下是一个简单的代码示例：
from transformers import AutoTokenizer, AutoModelForTokenClassification
from transformers import pipeline
tokenizer = AutoTokenizer.from_pretrained("Davlan/xlm-roberta-large-ner-hrl")
model = AutoModelForTokenClassification.from_pretrained("Davlan/xlm-roberta-large-ner-hrl")
nlp = pipeline("ner", model=model, tokenizer=tokenizer)
example = "Nader Jokhadar had given Syria the lead with a well-struck header in the seventh minute."
ner_results = nlp(example)
print(ner_results)
限制和偏差
此模型的训练数据来源于特定时间范围内的实体标注新闻文章。因此，该模型可能无法很好地泛化用于不同领域的所有用例。
训练数据
该模型针对十种语言进行了训练，每种语言的训练数据来源于不同的语料库，具体如下：
| 语言 | 数据集链接 |
|---|---|
| 阿拉伯语 | ANERcorp |
| 德语 | conll 2003 |
| 英语 | conll 2003 |
| 西班牙语 | conll 2002 |
| 法语 | Europeana Newspapers |
| 意大利语 | Italian I-CAB |
| 拉脱维亚语 | Latvian NER |
| 荷兰语 | conll 2002 |
| 葡萄牙语 | Paramopama + Second Harem |
| 中文 | MSRA |
训练数据能够区分一个实体的开始与持续，因此即使有连续的相同类型的实体，模型也可以输出第二个实体的起始位置。
训练过程
模型在 NVIDIA V100 GPU 上训练，并应用了 HuggingFace 提供的推荐超参数设置。
