访问官网
Github
Huggingface
文档
论文UmBERTo项目简介
UmBERTo是一个基于Roberta的意大利语言模型,它采用了两种创新性的技术方案:SentencePiece分词和全词掩码(Whole Word Masking)。该项目由Musixmatch公司开发并在GitHub上开源发布。
训练数据集
该模型使用了OSCAR语料库中的意大利语子语料库作为训练数据。经过去重处理后的语料库包含:
- 70GB的纯文本数据
- 2.1亿个句子
- 110亿个单词 这些语料在句子层面进行了过滤和随机打乱,以便用于自然语言处理研究。
模型特点
UmBERTo-Commoncrawl-Cased模型具有以下特征:
- 采用SentencePiece分词器
- 使用全词掩码技术
- 词汇表大小为32K
- 训练步数达到12.5万步
- 支持大小写敏感
性能表现
模型在多个下游任务中展现出优秀的性能:
在命名实体识别(NER)任务中:
- ICAB-EvalITA07数据集上F1分数达到87.57%
- WikiNER-ITA数据集上F1分数达到92.53%
在词性标注(POS)任务中:
- UD_Italian-ISDT数据集上准确率达到98.98%
- UD_Italian-ParTUT数据集上准确率达到98.90%
实际应用
该模型可以轻松集成到各类NLP应用中,主要用途包括:
- 文本分类
- 命名实体识别
- 词性标注
- 掩码词预测
开发者可以通过Hugging Face Transformers库简单几行代码就能调用该模型,支持包括文本分类、序列标注、掩码预测等多种任务类型。模型特别适合处理意大利语相关的自然语言处理任务。
开发团队
该项目由Musixmatch公司的AI团队开发,核心开发者包括Loreto Parisi、Simone Francia和Paolo Magnani。Musixmatch是一家专注于音乐技术的公司,其AI团队在自然语言处理领域有丰富的研究和实践经验。
