Logo
Project Icon

text-dedup

文本去重工具集，支持多种去重方法和大规模数据集处理

text-dedupMinHashSimHashBloom FilterRETSimGithub开源项目

项目提供一系列文本去重脚本，适用于各种场景，包括嵌入式去重（RETSim/UniSim）、适合大规模数据集的MinHash + MinHashLSH、64或128位SimHash、后缀数组子串去重、布隆过滤器和精确哈希去重等方法。项目支持高效处理大数据集并计划引入更多去重方法，如SuperMinHash和ProbMinHash等。用户可以根据需求来自定义脚本，灵活应用于不同的文本数据处理场景。

访问官网访问官网GithubGithubHuggingfaceHuggingface文档文档
介绍相关项目
TextMine - 企业文档智能管理与分析平台
AI分析AI工具TextMine合规性数据提取文档管理
TextMine是一款智能企业文档管理系统，能将发票、合同等关键业务文档转化为结构化数据。它提供自动分类、数据提取、智能搜索和分析功能，助力企业提高数据透明度，优化决策流程，强化合规管理。TextMine适用于财务、法务、人力等多个部门，帮助企业节省时间成本，降低运营风险，提升整体效率，充分发挥文档数据的价值。
HCP-Diffusion - Stable Diffusion模型训练与优化工具集
DreamArtist++GithubHCP-DiffusionLoRAStable Diffusion开源项目文本到图像生成
HCP-Diffusion是基于Diffusers库开发的Stable Diffusion模型工具集。它整合了多种文本到图像生成的训练方法，包括Prompt-tuning和Textual Inversion等。该工具集引入了DreamArtist++技术，支持一次性文本到图像生成。HCP-Diffusion提供层级LoRA、模型集成和自定义优化器等功能，为AI研究和开发提供全面的模型训练与推理支持。
all-MiniLM-L6-v2-onnx - 高效文本嵌入和相似度搜索的ONNX解决方案
FastEmbedGithubHuggingfaceONNXsentence-transformers开源项目文本分类模型相似度搜索
all-MiniLM-L6-v2模型的ONNX版本是一个用于文本分类和相似度搜索的工具。该模型与Qdrant兼容，支持IDF修饰符，并可通过FastEmbed库进行推理。它能生成文本嵌入向量，适用于多种自然语言处理任务，尤其在需要进行文本相似度比较的场景中表现优异。使用该模型可以简化文本处理流程，提高相关应用的效率。
LLMTest_NeedleInAHaystack - LLM长上下文检索能力测试工具
AnthropicCohereGithubLLMsNeedle In A HaystackOpenAI开源项目
LLMTest_NeedleInAHaystack是一个用于评估长上下文语言模型检索能力的开源工具。通过在长文本中插入特定信息并要求模型检索，它可以测试OpenAI、Anthropic和Cohere等主流LLM的性能。该项目提供灵活的参数配置和结果可视化，有助于研究人员和开发者分析不同模型的上下文理解能力。
budoux - 独立小巧且多语言支持的机器学习换行工具
BudouXGithub开源项目机器学习浏览器端独立工具语段分割
BudouX 是一款独立且小巧的机器学习换行整理工具，无需依赖第三方分词器，支持日语、简体中文、繁体中文和泰语。它占用空间小，约15KB，可用于客户端，并支持与HTML输入的集成。使用者可以通过提供数据集训练任何语言的模型，适用于Python、JavaScript和Java编程语言。该工具旨在解决CJK语言在网页排版中的分行问题，提高可读性。
similarity - 用于度量学习的库，支持自监督和对比学习
GithubTensorFlow Similarity对比学习度量学习开源项目相似性学习自监督学习
TensorFlow Similarity 是一个用于度量学习的库，支持自监督和对比学习。该库提供先进的算法，可用于研究、训练、评估和部署基于相似性和对比的模型，包含模型、损失函数、指标、采样器、可视化工具和索引子系统。最新版本支持分布式训练，增加了多模态嵌入和新的检索指标。可在未标记数据上进行预训练以提高准确性，或构建模型找到并聚类相似示例。了解更多请查看文档和示例。
sumy - 简易文本摘要提取和评估工具，支持多种语言
GithubPythonsumy命令行工具开源项目文本总结自动摘要
Sumy是一款简单的文本摘要提取工具，支持多种语言和评估方法。通过Python和pip即可安装，用户可在命令行或浏览器中使用，Python API便于集成项目，还支持容器化运行，满足多种使用需求。
retext - 可扩展的自然语言转换框架
Githubretext开源项目插件系统文本转换自然语言处理语法树
retext是一个基于插件的自然语言转换框架,可在服务器、客户端和Deno等多种环境中使用。它通过结构化数据处理自然语言,支持拼写检查、排版优化和可读性分析等功能。retext生态系统包含多个语言处理包,并允许开发自定义插件。作为unified项目的开源组件,retext使用nlcst语法树提供强大的自然语言支持,适用于文本分析、内容优化和自动校对等场景。其活跃的社区不断贡献新插件,使retext成为灵活可靠的文本处理解决方案。
docspell - 智能文档管理系统简化家庭和小型组织文件整理
DocspellGithubOCR全文搜索开源项目文档管理系统机器学习
Docspell是一个开源的智能文档管理系统,适用于家庭和小型组织。它支持自动整理多源文件,运用机器学习提取元数据,优化文档标记和分类。系统集成了OCR、全文搜索和邮件功能,并提供REST API及移动友好的Web界面。Docspell旨在提供高效便捷的文档管理体验。
unstuffer-v0.2 - GitHub仓库文件压缩优化工具
GithubHuggingfaceMIT许可证开源许可开源项目模型版权自由软件软件开发
unstuffer-v0.2是一个针对GitHub仓库的文件压缩工具。这个工具旨在减小仓库大小，优化存储并提升下载效率。它支持多种文件格式，能自动识别并压缩合适的文件。unstuffer-v0.2为开源项目提供了一种简化仓库管理的方法，有助于代码的存储和分享。然而，由于项目描述信息有限，建议进一步验证工具的具体功能和使用方法。
相关项目
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能，包括文生视频、动态画面和形象生成等，帮助用户快速上手，创造专业级内容。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台，用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品，帮助用户探索创意灵感。

Project Cover

讯飞文书

讯飞文书依托讯飞星火大模型，为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能，满足事务性工作的高频需求，帮助撰稿人节省精力，提高效率，优化工作与生活。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号