Logo
Project Icon

text-dedup

文本去重工具集，支持多种去重方法和大规模数据集处理

text-dedupMinHashSimHashBloom FilterRETSimGithub开源项目

项目提供一系列文本去重脚本，适用于各种场景，包括嵌入式去重（RETSim/UniSim）、适合大规模数据集的MinHash + MinHashLSH、64或128位SimHash、后缀数组子串去重、布隆过滤器和精确哈希去重等方法。项目支持高效处理大数据集并计划引入更多去重方法，如SuperMinHash和ProbMinHash等。用户可以根据需求来自定义脚本，灵活应用于不同的文本数据处理场景。

访问官网访问官网GithubGithubHuggingfaceHuggingface文档文档
介绍相关项目
textract - 多格式文档文本提取工具
GithubPython库textract开源项目文本提取文档处理
textract是一个开源文本提取工具，支持从多种格式文档（如PDF、Word、Excel等）中提取文本。该项目最初由Dean Malmgren创建，现由Jazzband社区维护。textract提供简单接口，具备全面的文档支持，旨在简化文本提取流程。它适用于需要从不同类型文档中批量提取文本的场景，为用户提供高效的文本提取解决方案。
wink-nlp-utils - 轻量级自然语言处理工具集 简化文本预处理和分析
GithubNLP停用词分词句子边界检测开源项目文本处理
wink-nlp-utils是一个轻量级自然语言处理工具集，提供36多个实用函数。支持姓名提取、语料库生成、句子分割、分词和停用词移除等功能。适用于语义搜索和文本分类等任务的预处理，为开发人员提供简洁API。该项目是wink开源家族的一员，专注于文本预处理和分析，在npm上可用，具有完整的文档和测试覆盖率。支持Node.js环境。
lucene - Java高性能全功能文本搜索引擎库
Apache LuceneGithubJava库全文搜索引擎开源项目高性能
Apache Lucene是一个Java编写的文本搜索引擎库。它提供索引和搜索功能，支持多种语言和数据格式。Lucene具有可扩展性，适用于不同规模的应用。它支持布尔查询、短语查询、邻近查询等多种查询类型，并提供高效的倒排索引机制。Lucene拥有开源社区，持续更新，并提供开发文档。它可用于构建搜索应用或优化现有系统。
pytextclassifier - PyTextClassifier：支持多种文本分类和聚类算法的高性能工具库
GithubPyTextClassifier开源工具包开源项目文本分类聚类算法自适应文本分析
PyTextClassifier是一款高性能的Python工具库，提供多种文本分类和聚类算法，支持二分类、多分类、多标签分类和Kmeans聚类。适用于情感分析和文本风险分类，设计简明易用，算法高效清晰。支持句子和文档级的文本任务，兼容英文和中文文本。包含FastText、TextCNN、TextRNN和BERT等深度学习模型，适合各类生产环境。
vsearch - 开源高性能生物序列分析软件
GithubVSEARCH去冗余序列比对开源项目生物信息学聚类分析
VSEARCH是一款开源的生物序列分析软件,支持去冗余、聚类和嵌合体检测等功能。它利用SIMD矢量化和多线程并行技术,可处理大型数据库。VSEARCH采用全局最优比对算法,精度高于USEARCH。软件支持多种CPU架构和操作系统,可读取压缩文件,是USEARCH的免费开源替代方案。此外,VSEARCH还支持全长和前缀去冗余、重复、反向互补、掩蔽、全局比对搜索等功能。可用于FASTQ文件分析、过滤、转换和合并配对末端读取。
SimSIMD - 快速高效的向量相似度计算库
GithubSIMD优化SimSIMD向量计算开源项目距离度量跨平台
SimSIMD是一个高性能向量相似度计算库,为机器学习和科学计算提供快速的距离和相似度计算。支持欧几里得、余弦等多种距离函数,可处理浮点和整型数据。通过SIMD优化,性能显著优于NumPy和SciPy。提供Python、Rust等语言绑定,并具有广泛的平台兼容性。
thumbhash - 高效图像占位符技术 丰富细节准确色彩
BlurHashGithubThumbHash压缩算法图像加载图像占位符开源项目
ThumbHash是一种先进的图像占位符编码技术，相比BlurHash提供更丰富的细节和准确的颜色表现。该技术在极小空间内存储图像关键信息，包括宽高比和Alpha通道，优化用户加载体验。ThumbHash支持JavaScript、Rust、Swift和Java等多种编程语言实现，便于开发者集成应用。
lingua - 多语言文本检测库，低配置需求，高精度
GithubLingua开源项目拼写检查文本分类自然语言处理语言识别
此库可检测文本数据的语言，适用于自然语言处理如文本分类和拼写检查。与其他开源库相比，该库无需复杂配置，适用于长文本和短文本，甚至单词和短语。支持75种语言，高精度检测，完全离线运行，无需外部API或服务，适用于社交媒体和电子邮件自动分拣等应用。
retvec - 多语言文本向量化的高效解决方案
GithubRETVecTensorFlow多语言对抗性弹性开源项目文本向量化
RETVec是一种创新的文本向量化工具，为高效处理多语言文本而开发。它具有内置的抗干扰能力，可应对各种字符级修改。该工具支持超过100种语言，无需额外的词汇表。RETVec作为一个轻量级组件，可无缝集成到TensorFlow模型中。它同时提供TensorFlow Lite和JavaScript版本，适用于移动设备和网页应用。RETVec在提升模型稳定性的同时，保证了计算效率，是文本处理任务的理想选择。
awesome-open-data-centric-ai - 开源工具提升数据驱动的AI构建效率
DCAIData-centric AIGithubRenumicsopen-source工具unstructured data开源项目
该项目提供了多种开源工具，旨在在非结构化数据上实现数据驱动的AI工作流。通过系统地提升训练数据集的质量，可以开发出在实际应用中具备更高价值的AI系统。工具涵盖数据版本控制、嵌入和预训练模型、可视化与交互、异常和噪声检测、可解释性、主动学习等多个类别，且均为活跃维护，适用于日常使用。目标是帮助用户发现并利用这些工具，从而提高AI系统的开发效率和质量。
相关项目
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能，包括文生视频、动态画面和形象生成等，帮助用户快速上手，创造专业级内容。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台，用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品，帮助用户探索创意灵感。

Project Cover

讯飞文书

讯飞文书依托讯飞星火大模型，为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能，满足事务性工作的高频需求，帮助撰稿人节省精力，提高效率，优化工作与生活。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号