#Jigsaw
detoxify - 基于Pytorch Lightning和Transformers的多语言有害评论分类模型
DetoxifyPytorch LightningTransformersToxic Comment ClassificationJigsawUnintended Bias in Toxicity ClassificationMultilingualGithub开源项目
Detoxify项目利用Pytorch Lightning和Transformers构建模型,识别和分类包含威胁、辱骂和身份攻击的有害评论。这些模型支持多语言操作,致力于减少无意中的偏见。项目在多次Jigsaw挑战赛中表现出色,提供高效的有害内容检测方案,适合用于研究和内容审核工作,帮助更快速地标记有害内容和提高用户体验。
roberta_toxicity_classifier - 高效的毒性评论分类模型
毒性分类GithubF1-scoreJigsaw开源项目RoBERTaAUC-ROC模型Huggingface
该模型专注于毒性评论的分类,使用来自Jigsaw 2018、2019和2020年的数据集训练,包含约200万个英文例子。通过对RoBERTa模型的精细调校,在测试集上表现出色,AUC-ROC达到0.98,F1评分为0.76,是用于识别毒性内容的有效工具。