访问官网
Github
Huggingface
文档项目介绍：text-dedup
text-dedup 项目是一组用于文本去重的脚本集合，其目标是帮助用户通过多种方法进行文本数据的去重操作。这些脚本可以直接使用，也可以根据用户的需要进行修改。
安装方法
要开始使用 text-dedup，用户可以通过以下命令安装：
pip install text-dedup
或者直接从 GitHub 仓库安装：
pip install git+https://github.com/ChenghaoMou/text-dedup
文档
该项目的详细文档可以在 GitHub Pages上查阅，文档提供了使用该项目的指南和参考。
功能特性
text-dedup 项目包含多种文本去重算法，适用于各种数据规模和去重需求，具体特性包括：
- RETSim/UniSim：基于嵌入的近似去重方法（开发中）。
- MinHash + MinHashLSH：适用于大规模（TB级）数据集的 Spark 实现。
- SimHash：支持 64 位或 128 位的去重。
- SuffixArray Substring：后缀数组子串去重。
- Bloom Filter：布隆过滤器用于去重。
- Exact Hash：支持文档级和行级去重。
未来计划
项目还计划了未来的发展方向，包括：
- 流处理的内存基准测试
- 跨数据集去重
- 用 Python 重写后缀数组
- 更多去重方法的集合，如 SuperMinHash, ProbMinHash 等
需要注意的是，该项目并不打算构建一个通用的去重库，因为每种使用情况可能非常不同，设计和考虑也需要针对具体需求进行调整。
致谢
text-dedup 项目的灵感来源于多个开源项目，并受到 BigScience 和 BigCode 项目的经验启发。此外，项目开发者也撰写了一篇关于开发历程的博客，鼓励任何形式的反馈。
快速示例
项目提供了一系列快速示例，用户可以通过这些示例快速了解如何在不同场景下应用 text-dedup：
- Native PySpark：适合大规模数据集处理。
- UniSim (WIP)：基于 Google's RETSim 模型的近似去重方法。
- Suffix Array Substring Exact Deduplication：精确去重方法示例。
- MinHash Near Deduplication 和 SimHash Near Deduplication：提供了基于 MinHash 和 SimHash 的近似去重方法。
- Exact Hash 和 Bloom Filter Exact Deduplication：使用精确哈希或布隆过滤器进行去重。
性能基准
项目中提供了多个性能基准，帮助用户评估不同去重算法在特定数据集上的表现。用户可以参考这些基准来选择合适的去重方法。
许可证
text-dedup 项目遵循 Apache 2.0 许可证，确保项目的开源和可持续发展。
引用
如果您在研究或项目中使用了 text-dedup，建议按照以下格式引用：
@software{chenghao_mou_2023_8364980,
author = {Chenghao Mou and
Chris Ha and
Kenneth Enevoldsen and
Peiyuan Liu},
title = {ChenghaoMou/text-dedup: Reference Snapshot},
month = sep,
year = 2023,
publisher = {Zenodo},
version = {2023.09.20},
doi = {10.5281/zenodo.8364980},
url = {https://doi.org/10.5281/zenodo.8364980}
}
text-dedup 项目根植于丰富的研究基础和社区贡献，它不仅是一个工具集，更是一个可以激发去重技术新想法的平台。它让每一位使用者都可以根据自身项目特点，巧妙地设计出最合适的去重策略。
