Github
Huggingface
文档项目介绍：BERT-NER日语项目
BERT-NER日语项目旨在通过BERT模型从日语文本中提取固有表现。这个项目由BertForTokenClassification模型实现，其目的是识别和区分文本中的特定实体，如人名、地名、组织名等。
固有表现类型
在本项目中，可以从文本中提取的固有表现有以下八种类型：
- 人名：识别文本中的人名。
- 法人名：包括法人与类似组织的名称。
- 政治组织名：包含政治组织、政党、政府、行政、军事和国际组织的名称。
- 其他组织名：泛指各种其他组织，例如体育组织和演出组织。
- 地名：识别并标记地理位置的名称。
- 设施名：包括建筑物、机构等的名称。
- 产品名：可以是商品、节目、电影、书籍、歌曲、品牌等的名称。
- 事件名：识别并标记事件的名称。
使用方法
要使用这个项目，用户需要安装必要的Python库，包括transformers，unidic_lite和fugashi。安装完成后，只需运行简单几行代码即可实现实体抽取。这两步操作在Python环境中可以简便地实现。
示例代码如下：
from transformers import BertJapaneseTokenizer, BertForTokenClassification
from transformers import pipeline
model = BertForTokenClassification.from_pretrained("jurabi/bert-ner-japanese")
tokenizer = BertJapaneseTokenizer.from_pretrained("jurabi/bert-ner-japanese")
ner_pipeline = pipeline('ner', model=model, tokenizer=tokenizer)
result = ner_pipeline("株式会社Jurabiは、東京都台東区に本社を置くIT企業である。")
模型背景
该项目采用日本东北大学乾研究室发布的日本语BERT模型，即cl-tohoku/bert-base-japanese-v2，作为其基础模型。
学习数据
项目中使用到的训练数据是由Stockmark公司发布的，基于Wikipedia的日语固有表现抽取数据集。可以在stockmarkteam/ner-wikipedia-dataset找到相关信息。
源代码
关于这个项目的详细实现和用于微调的程序代码，可以在GitHub上访问jurabiinc/bert-ner-japanese。
许可协议
本项目的使用受Creative Commons Attribution-ShareAlike 3.0许可协议保护，确保了项目的共享和再发行条件。
这个项目提供了一个强大而灵活的工具，用于处理日语文本中固有名词的自动化识别和标注，在促进日语自然语言处理技术的发展中起到积极的推动作用。
