roberta_toxicity_classifier

roberta_toxicity_classifier项目介绍

项目背景与目标

Roberta_toxicity_classifier是一个专门用于识别和分类网络评论中有害言论的模型。这类评论通常带有攻击性、侮辱性或其他负面情绪，可能对网络社区造成不良影响。该项目的目标是通过高效的分类技术帮助用户更好地管理和减少这些不良评论，提升社区互动体验。

数据集与训练

为了训练出性能优秀的模型，研究人员将Jigsaw项目的英文学部分组合在一起，形成了一个大约包含200万个例子的多数据集。这些数据来自以下比赛和挑战：

• Jigsaw 2018
• Jigsaw 2019
• Jigsaw 2020

接下来，研究人员将这些数据集一分为二，并在其上微调了RoBERTa模型。这种优化方法被称为RoBERTa: A Robustly Optimized BERT Pretraining Approach。经过训练后，该模型在Jigsaw比赛的测试集中表现优异，达到了0.98的AUC-ROC值以及0.76的F1分数，这表明模型能够有效识别高危评论。

使用指南

为了让用户更方便地使用该模型，项目提供了简单的使用代码示例。用户只需通过Python代码加载模型并进行预测。以下是使用步骤：

1. 首先加载分词器和模型权重：

   from transformers import RobertaTokenizer, RobertaForSequenceClassification
   
   tokenizer = RobertaTokenizer.from_pretrained('SkolkovoInstitute/roberta_toxicity_classifier')
   model = RobertaForSequenceClassification.from_pretrained('SkolkovoInstitute/roberta_toxicity_classifier')
   

2. 准备输入数据，将待分析的评论编码为模型可识别的形式：

   batch = tokenizer.encode('you are amazing', return_tensors='pt')
   

3. 调用模型进行推理，判断评论的毒性：

   model(batch)
   

通过这些简单的步骤，用户可以轻松实现对评论的毒性分析。

许可证信息

该项目采用的许可证是创作共用-署名-非商业性使用-相同方式共享 4.0 国际许可证 (Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License)。使用者可以在非商业用途下自由共享和修改模型，但需要提供署名并以相同方式共享。相关详情和标识如下：

• [了解详细许可证信息][cc-by-nc-sa]
• ![许可证标识][cc-by-nc-sa-image]

更多信息请访问Creative Commons官网。