Logo
Project Icon

text-dedup

文本去重工具集，支持多种去重方法和大规模数据集处理

text-dedupMinHashSimHashBloom FilterRETSimGithub开源项目

项目提供一系列文本去重脚本，适用于各种场景，包括嵌入式去重（RETSim/UniSim）、适合大规模数据集的MinHash + MinHashLSH、64或128位SimHash、后缀数组子串去重、布隆过滤器和精确哈希去重等方法。项目支持高效处理大数据集并计划引入更多去重方法，如SuperMinHash和ProbMinHash等。用户可以根据需求来自定义脚本，灵活应用于不同的文本数据处理场景。

访问官网访问官网GithubGithubHuggingfaceHuggingface文档文档
介绍相关项目
minisearch - 轻量级全文搜索引擎 实现快速离线搜索体验
GithubJavaScriptMiniSearch全文搜索内存索引开源项目搜索引擎
MiniSearch是一款JavaScript编写的轻量级内存全文搜索引擎。它支持精确匹配、前缀搜索、模糊匹配和字段提升等功能，适用于数据量适中的全文搜索场景。MiniSearch可在浏览器和Node.js环境运行，支持实时索引更新和自动建议功能。无外部依赖且资源占用少，非常适合需快速响应的客户端搜索应用。
denser-retriever - 多技术融合的企业级AI检索工具
AI检索器Denser RetrieverGithubxgboost向量搜索开源项目机器学习重排序
Denser Retriever是一款企业级AI检索工具，融合关键词搜索、向量数据库与机器学习重排功能，并通过xgboost技术优化。其在MTEB基准测试中表现出色，支持端到端应用，包括聊天机器人和语义搜索。项目支持Python安装，推荐使用Anaconda配置，附有详细文档和开发指南。
borg - 开源重复数据删除备份工具
BorgBackupGithub加密备份备份软件开源软件开源项目数据去重
Borg是一个开源的重复数据删除备份程序，支持压缩和加密。它使用内容定义分块技术实现高效存储，只保存变更内容。Borg适合日常备份，可进行远程备份，备份可挂载为文件系统方便检查和恢复。支持Linux、macOS、FreeBSD等多个平台，可通过SSH进行远程备份。提供多平台单文件版本，易于使用。
ChineseWebText - 大规模中文网络文本数据集及其评估工具链
ChineseWebTextGithub开源项目数据评估模型网页文本处理自然语言处理高质量中文数据集
ChineseWebText是一个大规模中文网络文本数据集，总容量达1.42TB，每条文本均附带质量评分。该项目还提供了一个600GB的高质量子集，文本质量均超过90%。项目包含EvalWeb工具链，用于从原始网络数据中提取优质中文文本。EvalWeb通过数据准备、预处理和BERT评估模型对文本质量进行筛选和评估。此外，项目还开发了基于FastText的快速分类器，在保持性能的同时提高了处理效率。
textract - 多格式文档文本提取工具
GithubPython库textract开源项目文本提取文档处理
textract是一个开源文本提取工具，支持从多种格式文档（如PDF、Word、Excel等）中提取文本。该项目最初由Dean Malmgren创建，现由Jazzband社区维护。textract提供简单接口，具备全面的文档支持，旨在简化文本提取流程。它适用于需要从不同类型文档中批量提取文本的场景，为用户提供高效的文本提取解决方案。
wink-nlp-utils - 轻量级自然语言处理工具集 简化文本预处理和分析
GithubNLP停用词分词句子边界检测开源项目文本处理
wink-nlp-utils是一个轻量级自然语言处理工具集，提供36多个实用函数。支持姓名提取、语料库生成、句子分割、分词和停用词移除等功能。适用于语义搜索和文本分类等任务的预处理，为开发人员提供简洁API。该项目是wink开源家族的一员，专注于文本预处理和分析，在npm上可用，具有完整的文档和测试覆盖率。支持Node.js环境。
lucene - Java高性能全功能文本搜索引擎库
Apache LuceneGithubJava库全文搜索引擎开源项目高性能
Apache Lucene是一个Java编写的文本搜索引擎库。它提供索引和搜索功能，支持多种语言和数据格式。Lucene具有可扩展性，适用于不同规模的应用。它支持布尔查询、短语查询、邻近查询等多种查询类型，并提供高效的倒排索引机制。Lucene拥有开源社区，持续更新，并提供开发文档。它可用于构建搜索应用或优化现有系统。
SimSIMD - 快速高效的向量相似度计算库
GithubSIMD优化SimSIMD向量计算开源项目距离度量跨平台
SimSIMD是一个高性能向量相似度计算库,为机器学习和科学计算提供快速的距离和相似度计算。支持欧几里得、余弦等多种距离函数,可处理浮点和整型数据。通过SIMD优化,性能显著优于NumPy和SciPy。提供Python、Rust等语言绑定,并具有广泛的平台兼容性。
pytextclassifier - PyTextClassifier：支持多种文本分类和聚类算法的高性能工具库
GithubPyTextClassifier开源工具包开源项目文本分类聚类算法自适应文本分析
PyTextClassifier是一款高性能的Python工具库，提供多种文本分类和聚类算法，支持二分类、多分类、多标签分类和Kmeans聚类。适用于情感分析和文本风险分类，设计简明易用，算法高效清晰。支持句子和文档级的文本任务，兼容英文和中文文本。包含FastText、TextCNN、TextRNN和BERT等深度学习模型，适合各类生产环境。
thumbhash - 高效图像占位符技术 丰富细节准确色彩
BlurHashGithubThumbHash压缩算法图像加载图像占位符开源项目
ThumbHash是一种先进的图像占位符编码技术，相比BlurHash提供更丰富的细节和准确的颜色表现。该技术在极小空间内存储图像关键信息，包括宽高比和Alpha通道，优化用户加载体验。ThumbHash支持JavaScript、Rust、Swift和Java等多种编程语言实现，便于开发者集成应用。
相关项目
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号