Github
Huggingface
文档
论文bert-base-finnish-cased-v1项目介绍
bert-base-finnish-cased-v1是一个为芬兰语开发的BERT深度迁移学习模型。该项目由TurkuNLP团队开发，旨在为芬兰语自然语言处理任务提供高性能的预训练模型。
项目背景
BERT模型在自然语言处理领域取得了巨大成功，但多语言BERT模型对芬兰语的支持有限。为了解决这个问题，研究人员开发了专门针对芬兰语的BERT模型，即FinBERT。
模型特点
FinBERT具有以下主要特点：
-
专为芬兰语设计的50,000个词片词汇表，对芬兰语单词的覆盖率远高于多语言BERT模型。
-
在超过30亿个token（240亿个字符）的芬兰语文本上进行了100万步的预训练，文本来源包括新闻、在线讨论和互联网爬虫数据。
-
相比之下，多语言BERT仅在维基百科文本上训练，其中芬兰语维基百科文本量仅为FinBERT训练数据的约3%。
性能表现
FinBERT在多项芬兰语自然语言处理任务中表现出色：
-
文档分类：在Yle新闻和Ylilauta在线讨论语料库上，FinBERT优于多语言BERT和FastText基准。
-
命名实体识别：在FiNER语料库上，FinBERT达到92.40%的准确率，超过多语言BERT（90.29%）和基于规则的FiNER-tagger（86.82%）。
-
词性标注：在三个芬兰语Universal Dependencies语料库上，FinBERT在Turku Dependency Treebank、FinnTreeBank和Parallel UD treebank上分别达到98.23%、98.39%和98.08%的准确率，全面超越多语言BERT。
版本历史
该项目经历了多个版本的迭代：
-
2019年9月30日发布0.1版本：首次发布基于芬兰语新闻、在线讨论和爬虫数据训练的BERT base cased模型。
-
2019年10月24日发布0.2版本：发布了BERT base uncased模型。
-
2019年11月25日发布1.0版本：正式推出稳定版本，推荐使用cased模型。
应用前景
FinBERT为芬兰语自然语言处理任务提供了强大的基础模型，研究人员和开发者可以通过微调来解决各种具体任务，如文本分类、命名实体识别、词性标注等。该模型的发布有望推动芬兰语自然语言处理技术的进步和应用。
bert-base-finnish-cased-v1项目介绍
bert-base-finnish-cased-v1是一个为芬兰语开发的BERT深度迁移学习模型。该项目由TurkuNLP团队开发，旨在为芬兰语自然语言处理任务提供高性能的预训练模型。
项目背景
BERT模型在自然语言处理领域取得了巨大成功，但多语言BERT模型对芬兰语的支持有限。为了解决这个问题，研究人员开发了专门针对芬兰语的BERT模型，即FinBERT。
模型特点
FinBERT具有以下主要特点：
-
专为芬兰语设计的50,000个词片词汇表，对芬兰语单词的覆盖率远高于多语言BERT模型。
-
在超过30亿个token（240亿个字符）的芬兰语文本上进行了100万步的预训练，文本来源包括新闻、在线讨论和互联网爬虫数据。
-
相比之下，多语言BERT仅在维基百科文本上训练，其中芬兰语维基百科文本量仅为FinBERT训练数据的约3%。
性能表现
FinBERT在多项芬兰语自然语言处理任务中表现出色：
-
文档分类：在Yle新闻和Ylilauta在线讨论语料库上，FinBERT优于多语言BERT和FastText基准。
-
命名实体识别：在FiNER语料库上，FinBERT达到92.40%的准确率，超过多语言BERT（90.29%）和基于规则的FiNER-tagger（86.82%）。
-
词性标注：在三个芬兰语Universal Dependencies语料库上，FinBERT在Turku Dependency Treebank、FinnTreeBank和Parallel UD treebank上分别达到98.23%、98.39%和98.08%的准确率，全面超越多语言BERT。
版本历史
该项目经历了多个版本的迭代：
-
2019年9月30日发布0.1版本：首次发布基于芬兰语新闻、在线讨论和爬虫数据训练的BERT base cased模型。
-
2019年10月24日发布0.2版本：发布了BERT base uncased模型。
-
2019年11月25日发布1.0版本：正式推出稳定版本，推荐使用cased模型。
应用前景
FinBERT为芬兰语自然语言处理任务提供了强大的基础模型，研究人员和开发者可以通过微调来解决各种具体任务，如文本分类、命名实体识别、词性标注等。该模型的发布有望推动芬兰语自然语言处理技术的进步和应用。
