Github
Huggingface
论文Docta 项目介绍
什么是 Docta？
Docta 是一个以数据为中心的先进人工智能平台，旨在检测并修复数据中的问题，以提升模型表现。就像医生可以诊断和治疗病人一样，Docta 可帮助用户确保自己的数据“健康”。这个平台支持多种数据类型，包括表格数据、文本数据、图像数据和预训练模型嵌入等。
开源优势
Docta 提供了一系列自动化服务，让用户的数据更加健康，其中包括数据诊断、策展和“营养”添加等。这些服务是开源的且无需额外培训，任何用户都可以使用。平台提供了若干无需训练的演示示例，展示了如何在 ./demo/ 路径下利用 Docta 来改善数据。
示例演示
演示 1：查找标签错误（用于 LLM 对齐数据）
在 Docta 的第一个演示中，主要任务是修正人类标注的错误。使用的数据集来自 Anthropic 的红队测试数据，其中包括现实中人类和 AI 助手之间的对话，内容涵盖诸如歧视性语言及暴力讨论等敏感话题。Docta 能够检测到数据集中不同程度的人类标注错误，并生成诊断报告。例如，“红队”尝试的噪声率为约 8%，“无害基础”则达到约 28%。
演示 2：查找标签错误（图像数据）
Docta 还展示了在 CIFAR-N 数据集上查找标签错误的能力。CIFAR-N 是 CIFAR 数据集的版本之一，其中包含现实世界中重新收集的人类标注。
演示 3：查找稀有模式
Docta 能够检测数据集中不常见的稀有模式，就像发现被忽视的维生素以增强人类健康一样。这种技术可在 CIFAR-10 和衣物数据集中得到演示。
演示 4：对表格数据进行诊断
在表格数据的演示中，Docta 展示了其检测标签错误和稀有模式的能力，该数据集包含噪声标签。用户可以通过演示来探索对表格数据的分析。
如何使用 Docta？
使用 Docta 来诊断和改善数据非常方便，用户只需简单的几步即可完成。例如，用户可以在命令行中通过简单的 bash 脚本调用 Docta 的数据诊断功能，这样的操作可以快速识别并纠正数据问题。
结语
Docta 作为一个强大且易于使用的平台，可以为用户提供独特的视角来改进数据质量。通过这些开源工具和演示，Docta 致力于帮助用户发现数据中的潜在问题并提供改进建议。对于有兴趣使用 Docta 在学术论文中者，建议引用相关的研究文献。
有关更多信息及使用 Docta 的商业许可，请联系 contact@docta.ai。
