Logo
Project Icon

text-dedup

文本去重工具集，支持多种去重方法和大规模数据集处理

text-dedupMinHashSimHashBloom FilterRETSimGithub开源项目

项目提供一系列文本去重脚本，适用于各种场景，包括嵌入式去重（RETSim/UniSim）、适合大规模数据集的MinHash + MinHashLSH、64或128位SimHash、后缀数组子串去重、布隆过滤器和精确哈希去重等方法。项目支持高效处理大数据集并计划引入更多去重方法，如SuperMinHash和ProbMinHash等。用户可以根据需求来自定义脚本，灵活应用于不同的文本数据处理场景。

访问官网访问官网GithubGithubHuggingfaceHuggingface文档文档
介绍相关项目
lingua - 多语言文本检测库，低配置需求，高精度
GithubLingua开源项目拼写检查文本分类自然语言处理语言识别
此库可检测文本数据的语言，适用于自然语言处理如文本分类和拼写检查。与其他开源库相比，该库无需复杂配置，适用于长文本和短文本，甚至单词和短语。支持75种语言，高精度检测，完全离线运行，无需外部API或服务，适用于社交媒体和电子邮件自动分拣等应用。
retvec - 多语言文本向量化的高效解决方案
GithubRETVecTensorFlow多语言对抗性弹性开源项目文本向量化
RETVec是一种创新的文本向量化工具，为高效处理多语言文本而开发。它具有内置的抗干扰能力，可应对各种字符级修改。该工具支持超过100种语言，无需额外的词汇表。RETVec作为一个轻量级组件，可无缝集成到TensorFlow模型中。它同时提供TensorFlow Lite和JavaScript版本，适用于移动设备和网页应用。RETVec在提升模型稳定性的同时，保证了计算效率，是文本处理任务的理想选择。
awesome-open-data-centric-ai - 开源工具提升数据驱动的AI构建效率
DCAIData-centric AIGithubRenumicsopen-source工具unstructured data开源项目
该项目提供了多种开源工具，旨在在非结构化数据上实现数据驱动的AI工作流。通过系统地提升训练数据集的质量，可以开发出在实际应用中具备更高价值的AI系统。工具涵盖数据版本控制、嵌入和预训练模型、可视化与交互、异常和噪声检测、可解释性、主动学习等多个类别，且均为活跃维护，适用于日常使用。目标是帮助用户发现并利用这些工具，从而提高AI系统的开发效率和质量。
Top2Vec - 自动化主题检测和语义搜索的创新技术
GithubTop2Vec主题建模开源项目机器学习自然语言处理语义搜索
Top2Vec是一种创新的主题建模和语义搜索算法。它能自动检测文本主题,生成主题、文档和词向量的联合嵌入。该算法无需停用词列表和词形还原,可处理短文本,并提供内置搜索功能。通过识别文档密集聚类,Top2Vec为文本分析和信息检索提供了强大的解决方案。
data-juicer - 大语言模型数据处理系统，提供多模态数据支持
Data-JuicerGithub多模态数据处理大规模语言模型开源项目数据处理数据模型协同开发
Data-Juicer 是一款强大的一站式数据处理系统，专为大语言模型设计。它支持多模态数据处理，具有80多种操作符和20多个配置方案，提供高效且并行的数据处理能力。其友好的用户体验和全面的文档，使其成为生产环境中的优选方案。
sd-scripts - Stable Diffusion模型训练与生成的综合脚本工具库
GithubLoRAStable Diffusion图像生成开源项目机器学习模型训练
sd-scripts是一个专为Stable Diffusion模型开发的脚本库,集成了多种训练方法如DreamBooth、微调、LoRA和Textual Inversion。此外,它还提供了图像生成和模型转换功能。该项目包含训练脚本、数据准备工具和配置选项,有助于优化AI艺术创作流程。
bees - Btrfs文件系统的高效重复数据删除代理
BEESGithubbtrfs开源软件开源项目数据去重文件系统
BEES是专为Btrfs文件系统设计的重复数据删除代理。它通过离线去重和增量数据扫描，高效处理大型文件系统。BEES特点包括空间效率高、支持增量去重、兼容Btrfs压缩和全文件系统去重。它可处理活动数据，无需停机，并根据系统负载自动调节。BEES运行需要root权限，专门用于Btrfs文件系统。
awesome-search - 全面深入的搜索技术资源集合
Github个性化推荐开源项目排序优化搜索技术搜索质量评估检索算法
该资源集合涵盖了搜索技术的多个方面,从基础的词法搜索到先进的语义搜索和混合搜索。重点关注了结果排序、个性化推荐和多样化等核心问题,同时也包含了实用的架构设计、测试方法和评估指标。项目收录了众多高质量的技术文章、视频教程和行业案例,为搜索领域的研究人员和工程师提供了全面的学习资料。
similarity-search-kit - 隐私为先的iOS和macOS本地文本嵌入与语义搜索工具
GithubNLPSimilaritySearchKitSwift开源项目本地文本嵌入语义搜索
SimilaritySearchKit是一个Swift包，支持iOS和macOS应用，实现本地文本嵌入和语义搜索。该工具强调速度、可扩展性和隐私，内置多种NLP模型和相似度度量，开发者可快速创建功能强大的应用，同时确保数据本地存储，保护隐私。适用于隐私优先的文档搜索引擎、离线问答系统和文档聚类推荐引擎。安装简单，支持多种嵌入模型和距离度量。
Humanizar Texto - 智能文本优化工具 提高内容自然度和不可检测性
AI工具AI检测Humanizar Texto内容优化搜索引擎优化文本重写
Humanizar Texto是一款智能文本优化工具，专注于改写内容使其更自然流畅。通过先进算法，生成的文本能够避开AI检测，同时保证原创性和准确性。此外，该工具还能优化SEO效果，提升搜索引擎排名，并有效规避垃圾邮件过滤。Humanizar Texto适用于多种需要高质量文本的场景，为内容创作和营销提供有力支持。
相关项目
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号