#Detoxify
detoxify - 基于Pytorch Lightning和Transformers的多语言有害评论分类模型
Github开源项目TransformersDetoxifyPytorch LightningToxic Comment ClassificationJigsawUnintended Bias in Toxicity ClassificationMultilingual
Detoxify项目利用Pytorch Lightning和Transformers构建模型，识别和分类包含威胁、辱骂和身份攻击的有害评论。这些模型支持多语言操作，致力于减少无意中的偏见。项目在多次Jigsaw挑战赛中表现出色，提供高效的有害内容检测方案，适合用于研究和内容审核工作，帮助更快速地标记有害内容和提高用户体验。
unbiased-toxic-roberta - RoBERTa模型识别多语言有毒评论并减少偏见
Github开源项目自然语言处理机器学习模型模型评估HuggingfaceDetoxify有毒评论分类
该项目开发了基于RoBERTa的多语言模型,用于检测互联网上的有毒评论。模型在Jigsaw三个挑战数据集上训练,可识别威胁、侮辱和仇恨言论等多种有毒内容。它支持多种语言,易于使用,适用于研究和内容审核。项目还探讨了模型的局限性和伦理问题,努力减少对特定群体的意外偏见。