#Detoxify
detoxify - 基于Pytorch Lightning和Transformers的多语言有害评论分类模型
DetoxifyPytorch LightningTransformersToxic Comment ClassificationJigsawUnintended Bias in Toxicity ClassificationMultilingualGithub开源项目
Detoxify项目利用Pytorch Lightning和Transformers构建模型，识别和分类包含威胁、辱骂和身份攻击的有害评论。这些模型支持多语言操作，致力于减少无意中的偏见。项目在多次Jigsaw挑战赛中表现出色，提供高效的有害内容检测方案，适合用于研究和内容审核工作，帮助更快速地标记有害内容和提高用户体验。
toxic-bert - 基于深度学习的多语言有毒评论检测工具
模型Github内容审核开源项目HuggingfaceDetoxify机器学习自然语言处理毒性评论分类
Detoxify是一个开源的深度学习工具,专门用于识别和分类有毒评论。该项目基于PyTorch Lightning和Transformers框架,提供三个预训练模型,分别针对一般有毒评论、含偏见的有毒评论和多语言有毒评论。Detoxify能够检测威胁、淫秽、侮辱等多种有毒内容,支持英语、法语等7种语言。这个工具易于使用,适合研究人员或内容审核人员使用,但在应用时需要注意潜在的偏见问题。
unbiased-toxic-roberta - RoBERTa模型识别多语言有毒评论并减少偏见
模型评估Huggingface模型Detoxify机器学习有毒评论分类Github开源项目自然语言处理
该项目开发了基于RoBERTa的多语言模型,用于检测互联网上的有毒评论。模型在Jigsaw三个挑战数据集上训练,可识别威胁、侮辱和仇恨言论等多种有毒内容。它支持多种语言,易于使用,适用于研究和内容审核。项目还探讨了模型的局限性和伦理问题,努力减少对特定群体的意外偏见。