Github
Huggingface
文档
论文Detoxify 项目介绍
项目背景
Detoxify 是一个专门用于识别和分类有害评论的机器学习项目，由 Laura Hanu 和她在 Unitary 的团队开发。该项目的最终目的是通过理解视觉内容的上下文，阻止有害内容在互联网上传播。
项目目标
Detoxify 提供了训练好的模型和代码，适用于 Jigsaw 提出的三类挑战：有害评论分类、无意偏见检测和多语言有害评论分类。它旨在识别和分类在线平台上的有毒评论，并能够识别因提及身份而带来的无意偏见。
项目亮点与更新
- 2021年10月22日更新：推出了改进的多语言模型和标准化的类别名称。新模型在测试集上的最佳 AUC 分数为 92.11。
- 2021年9月3日更新：无偏见模型的权重进行了更新，新模型在测试集上的最好成绩为 93.74。
- 2021年2月15日更新：Detoxify 在《Scientific American》上刊登了一篇关于AI识别有害内容的评论文章。
- 2021年1月14日更新：推出了轻量级版本的模型，适用于不同的使用场景。
使用技术与依赖
Detoxify 主要依赖于 ⚡Pytorch Lightning 和 🤗Transformers，用于推理的过程。此外，如果需要训练模型，还需要使用 Kaggle API 下载数据。
主要功能与分类
Detoxify 针对三大挑战提供了不同的模型：
- 有害评论分类挑战：构建多头模型，能够检测各种类型的有害信息，如威胁、淫秽、侮辱和基于身份的仇恨。
- 无意偏见检测挑战：识别并最小化由于身份特征提及而产生的无意偏见。
- 多语言有害评论分类：建立有效的多语言模型，支持包括英语、法语、西班牙语、意大利语、葡萄牙语、土耳其语和俄语在内的多种语言。
每个挑战的模型各自使用不同的 Transformer 架构来满足其需求，如 BERT、RoBERTa 和 XLM-Roberta。
限制与伦理考量
Detoxify 在识别过程中容易将带有咒骂、侮辱或粗俗词汇的评论归类为有毒，这可能导致对特定少数群体的偏见。这说明在对这些模型进行调优时，需要使用反映真实世界的多元数据集，以减轻潜在的偏见。该库的预期用途主要用于研究目的，帮助内容审核员更快地识别有害内容。
快速预测与使用示例
用户可以快速安装Detoxify，并通过简单的Python代码对单个或批量文本进行预测。Detoxify的模型支持在CPU或CUDA设备上运行，并可以显示详细的预测结果。
例如：
from detoxify import Detoxify
results = Detoxify('original').predict('example text')
结语
Detoxify 使用方便，适用于无数对在线环境有高要求的场景。无论是在研究过程中进行细粒度调试，还是在实操中应用于内容审核，Detoxify 都为用户提供了强有力的工具。此外，Detoxify 也在持续更新，以满足不断变化的需求和挑战。
