Logo
Project Icon

text-dedup

文本去重工具集，支持多种去重方法和大规模数据集处理

text-dedupMinHashSimHashBloom FilterRETSimGithub开源项目

项目提供一系列文本去重脚本，适用于各种场景，包括嵌入式去重（RETSim/UniSim）、适合大规模数据集的MinHash + MinHashLSH、64或128位SimHash、后缀数组子串去重、布隆过滤器和精确哈希去重等方法。项目支持高效处理大数据集并计划引入更多去重方法，如SuperMinHash和ProbMinHash等。用户可以根据需求来自定义脚本，灵活应用于不同的文本数据处理场景。

访问官网访问官网GithubGithubHuggingfaceHuggingface文档文档
介绍相关项目
Top2Vec - 自动化主题检测和语义搜索的创新技术
GithubTop2Vec主题建模开源项目机器学习自然语言处理语义搜索
Top2Vec是一种创新的主题建模和语义搜索算法。它能自动检测文本主题,生成主题、文档和词向量的联合嵌入。该算法无需停用词列表和词形还原,可处理短文本,并提供内置搜索功能。通过识别文档密集聚类,Top2Vec为文本分析和信息检索提供了强大的解决方案。
data-juicer - 大语言模型数据处理系统，提供多模态数据支持
Data-JuicerGithub多模态数据处理大规模语言模型开源项目数据处理数据模型协同开发
Data-Juicer 是一款强大的一站式数据处理系统，专为大语言模型设计。它支持多模态数据处理，具有80多种操作符和20多个配置方案，提供高效且并行的数据处理能力。其友好的用户体验和全面的文档，使其成为生产环境中的优选方案。
sd-scripts - Stable Diffusion模型训练与生成的综合脚本工具库
GithubLoRAStable Diffusion图像生成开源项目机器学习模型训练
sd-scripts是一个专为Stable Diffusion模型开发的脚本库,集成了多种训练方法如DreamBooth、微调、LoRA和Textual Inversion。此外,它还提供了图像生成和模型转换功能。该项目包含训练脚本、数据准备工具和配置选项,有助于优化AI艺术创作流程。
Command-line-text-processing - 全面的命令行文本处理指南和资源
GNU工具GithubLinux命令行文本处理开源项目文本处理技巧电子书
这个项目提供了全面的命令行文本处理指南,涵盖grep、sed、awk等工具的使用。内容包括详细示例、电子书、练习题和视频教程,适合学习各种文本处理技巧。虽然项目已归档,但仍是掌握命令行文本处理的优质学习资源。
bees - Btrfs文件系统的高效重复数据删除代理
BEESGithubbtrfs开源软件开源项目数据去重文件系统
BEES是专为Btrfs文件系统设计的重复数据删除代理。它通过离线去重和增量数据扫描，高效处理大型文件系统。BEES特点包括空间效率高、支持增量去重、兼容Btrfs压缩和全文件系统去重。它可处理活动数据，无需停机，并根据系统负载自动调节。BEES运行需要root权限，专门用于Btrfs文件系统。
awesome-search - 全面深入的搜索技术资源集合
Github个性化推荐开源项目排序优化搜索技术搜索质量评估检索算法
该资源集合涵盖了搜索技术的多个方面,从基础的词法搜索到先进的语义搜索和混合搜索。重点关注了结果排序、个性化推荐和多样化等核心问题,同时也包含了实用的架构设计、测试方法和评估指标。项目收录了众多高质量的技术文章、视频教程和行业案例,为搜索领域的研究人员和工程师提供了全面的学习资料。
Humanizar Texto - 智能文本优化工具 提高内容自然度和不可检测性
AI工具AI检测Humanizar Texto内容优化搜索引擎优化文本重写
Humanizar Texto是一款智能文本优化工具，专注于改写内容使其更自然流畅。通过先进算法，生成的文本能够避开AI检测，同时保证原创性和准确性。此外，该工具还能优化SEO效果，提升搜索引擎排名，并有效规避垃圾邮件过滤。Humanizar Texto适用于多种需要高质量文本的场景，为内容创作和营销提供有力支持。
similarity-search-kit - 隐私为先的iOS和macOS本地文本嵌入与语义搜索工具
GithubNLPSimilaritySearchKitSwift开源项目本地文本嵌入语义搜索
SimilaritySearchKit是一个Swift包，支持iOS和macOS应用，实现本地文本嵌入和语义搜索。该工具强调速度、可扩展性和隐私，内置多种NLP模型和相似度度量，开发者可快速创建功能强大的应用，同时确保数据本地存储，保护隐私。适用于隐私优先的文档搜索引擎、离线问答系统和文档聚类推荐引擎。安装简单，支持多种嵌入模型和距离度量。
bricks - 开源自然语言处理模块库 提升文本分析效率
Githubbricks代码模块开源项目文本分析自然语言处理
bricks是一个开源自然语言处理模块库，提供多种文本分类器、提取器和生成器。开发者可利用bricks实现语言检测、情感分析、复杂度评估等文本增强功能。该项目支持独立使用，也可与refinery无缝集成，为文本分析提供灵活解决方案。
PruningRadixTrie - 革新性前缀搜索与自动完成数据结构
GithubPruningRadixTrie前缀搜索开源项目数据结构算法性能自动完成
PruningRadixTrie是一种创新数据结构，基于基数树原理，但性能提升了1000倍。通过在节点中存储子节点最大排名，实现树的修剪和查找提前终止，显著提升了前缀搜索和自动完成效率。这种结构特别适合在大型词典中进行查询完成和前缀搜索，可高效服务于大量并发用户。PruningRadixTrie具备添加术语、检索top-k相关术语等功能，同时支持文件持久化，便于数据管理和存储。
相关项目
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能，包括文生视频、动态画面和形象生成等，帮助用户快速上手，创造专业级内容。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台，用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品，帮助用户探索创意灵感。

Project Cover

讯飞文书

讯飞文书依托讯飞星火大模型，为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能，满足事务性工作的高频需求，帮助撰稿人节省精力，提高效率，优化工作与生活。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号