subword-nmt

神经机器翻译子词分割预处理工具

subword-nmt是一个文本子词分割预处理工具，主要应用于神经机器翻译领域。它实现了字节对编码(BPE)等算法，具备多语言联合学习、词汇过滤和BPE dropout等功能。该工具支持pip安装，提供命令行接口，适用于各类NMT任务，可有效处理罕见词。

Github

文档

论文

介绍相关项目

tokenizer - Go语言实现的自然语言处理分词库

GithubGo语言NLPTokenizer分词开源项目预训练模型

Tokenizer是一个纯Go语言实现的自然语言处理分词库，支持Word level、Wordpiece和BPE等多种分词模型。该项目可用于训练新模型或微调现有模型，并兼容HuggingFace预训练模型。Tokenizer为Go开发者提供了构建NLP应用所需的工具，助力高效生产级软件开发。

text2vec - 多模型文本向量化工具，支持多语言文本匹配分析

BERTGithubText2vec开源项目文本向量化文本相似度模型训练

text2vec工具实现了多种文本向量表示和相似度计算模型，如Word2Vec、BERT、Sentence-BERT和CoSENT。最新版本增加了多卡推理和命令行工具，方便用户批量处理文本向量化。它在中英文测试集上的表现优秀，尤其新版中文匹配模型在短文本区分上有显著提升。该工具为中文和多语言文本匹配提供了丰富的支持，能够满足各种文本语义分析任务的需求。

nlp-lang - 自然语言处理工具包，提供词语标准化、汉字转拼音等功能

GithubViterbi算法nlp-lang开源项目自然语言处理词语标准化词频统计

该项目封装了常用的自然语言处理工具和组件，如词语标准化、tire树结构、文本断句、html标签清理、Viterbi算法等。组件还包括汉字转拼音、简繁体转换、bloomfilter、指纹去重、SimHash相似度计算、词共现统计、内存搜索提示和WordWeight统计等。

subtitle - 开源多语言字幕生成工具支持AI驱动和自托管部署

AIGithubSubtitle多语言开源开源项目自托管

Subtitle是一款开源的字幕生成工具，支持多语言处理和自托管部署。该工具采用AI技术为视频内容创建准确、自然的字幕，并可轻松集成到现有工作流程。它提供多种AI模型选择和自定义参数设置，适应不同场景的字幕需求。用户可通过命令行或二进制文件运行，输出多种格式的字幕文件。这个项目为个人用户、内容创作者和企业提供了便捷的字幕解决方案。

rust-tokenizers - Rust实现的高性能自然语言处理分词器

Githubrust-tokenizers分词器开源项目性能优化自然语言处理语言模型

rust-tokenizers是一个为现代自然语言处理模型设计的分词器库。该项目支持WordPiece、BPE和Unigram等分词算法，适用于BERT、GPT、RoBERTa等Transformer架构。库提供单线程和多线程处理，并具有Python接口，可用于各类NLP项目的文本预处理。

Opus-MT - 多语言神经机器翻译的开源框架

GithubMarian-NMTOPUS-MT多语言开源开源项目机器翻译

Opus-MT是一个开源的神经机器翻译项目，基于Marian-NMT框架开发。该项目利用OPUS数据集训练模型，结合SentencePiece分词和eflomal词对齐技术，提供多语言翻译功能。Opus-MT支持基于Tornado的Web应用和WebSocket服务两种部署方式，并提供大量预训练模型供用户下载。在Tiyaro.ai平台上，Opus-MT部署了543个在线演示API，方便用户体验。这个项目致力于为全球用户提供开放、便捷的翻译服务。

wtpsplit - 多语言文本分割工具支持85种语言的高效句子和段落分割

GithubSaT多语言开源项目文本分割深度学习自然语言处理

wtpsplit是一个开源的文本分割工具，实现了最新的SaT模型。它支持85种语言的句子和段落分割，具有高效、稳健的特点。该工具通过LoRA技术可适应特定领域和风格，提供多种模型大小以满足不同应用需求。wtpsplit在保持高性能的同时，还具有较低的计算成本，适用于从通用句子分割到特定领域文本处理的各种场景。

bert-base-chinese-ws - BERT基础中文分词模型提升自然语言处理效率

BERTCKIPGithubHuggingfacetransformer模型开源项目模型繁体中文自然语言处理

CKIP实验室开发的BERT基础中文分词模型提供高效的中文文本处理功能，包括分词、词性标注和命名实体识别。该模型支持繁体中文，适用于多种自然语言处理任务。为获得最佳性能，推荐使用BertTokenizerFast作为分词器。该开源项目的详细信息和使用指南可在GitHub上查阅。

NLP-Natural-Language-Processing - 全面的自然语言处理资源与工具库

GithubNatural Language Processing开源项目数据科学机器学习深度学习计算机视觉

提供全面的自然语言处理（NLP）资源，涵盖数据集、前沿技术、课程、书籍推荐、GitHub代码示例及流行工具。涉及数据分析、知识图谱、模型与算法、情感分析、主题建模等任务的详细资料与学习路径。了解最新NLP动态，探索自然语言处理的应用潜力。

spaCy - 高性能自然语言处理库

GithubPythonspaCy开源项目热门神经网络模型自然语言处理训练系统

spaCy 是一个高级自然语言处理库，支持Python和Cython，适用于实际产品开发。它提供预训练管道，支持70种以上语言的分词和训练，拥有最先进的速度和神经网络模型，可用于词性标注、句法解析、命名实体识别、文本分类等多种任务。spaCy 同时支持多任务学习和使用预训练变换器，如BERT，适合生产环境下的训练系统，模型打包，部署和工作流管理，是商业开源软件，遵循MIT许可证。

相关项目

推荐项目

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

稿定AI

稿定设计是一个多功能的在线设计和创意平台，提供广泛的设计工具和资源，以满足不同用户的需求。从专业的图形设计师到普通用户，无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑，稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合，帮助用户轻松实现创意设计。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com