heBERT_sentiment_analysis - 希伯来语预训练BERT模型实现情感分析和情绪识别

heBERT_sentiment_analysis项目介绍

项目概述

heBERT_sentiment_analysis是一个基于BERT架构的希伯来语预训练语言模型，专门用于情感分析任务。该项目由Avihay Chriqui和Inbal Yahav开发，旨在为希伯来语自然语言处理提供强大的工具。

模型训练

该模型的训练数据来源广泛，包括：

希伯来语版本的OSCAR语料库，约9.8GB数据，包含10亿个词和2080万个句子。
希伯来语维基百科数据，约650MB，包含6300多万个词和380万个句子。
专门收集的情感用户生成内容(UGC)数据，约150MB，包含700多万个词和35万个句子。

其中，UGC数据是从2020年1月到8月期间收集的新闻网站评论。研究人员对其中4000个句子进行了情感标注，涵盖8种情感（愤怒、厌恶、期待、恐惧、快乐、悲伤、惊讶和信任）以及整体情感倾向。

模型性能

在情感分析任务上，heBERT_sentiment_analysis表现出色。以下是其在三分类（积极、消极、中性）任务上的性能指标：

总体准确率达到97%
积极情感：精确率96%，召回率92%，F1值94%
消极情感：精确率97%，召回率99%，F1值98%
中性情感：精确率83%，召回率56%，F1值67%

使用方法

使用heBERT_sentiment_analysis进行情感分析非常简单。用户可以通过Hugging Face的transformers库轻松加载模型和分词器：

from transformers import pipeline

sentiment_analysis = pipeline(
    "sentiment-analysis",
    model="avichr/heBERT_sentiment_analysis",
    tokenizer="avichr/heBERT_sentiment_analysis",
    return_all_scores = True
)

然后，用户可以直接将希伯来语文本输入模型进行情感分析：

result = sentiment_analysis('קפה זה טעים')  # "咖啡很好喝"
print(result)

模型将返回文本属于积极、消极和中性情感的概率分数。

项目意义

heBERT_sentiment_analysis为希伯来语自然语言处理领域带来了重要贡献。它不仅提供了高性能的情感分析工具，还为其他希伯来语下游任务的研究奠定了基础。该项目的开源性质使得研究人员和开发者能够更方便地进行希伯来语相关的研究和应用开发。

未来展望

项目团队表示，他们仍在持续改进模型。除了已发布的情感倾向分析功能外，他们还计划在未来发布情感检测功能。感兴趣的用户可以关注项目的GitHub页面以获取最新更新。

总的来说，heBERT_sentiment_analysis项目为希伯来语自然语言处理领域提供了一个强大而易用的工具，有望推动该领域的进一步发展和应用。