Project Icon

pecab

纯Python实现的高效韩语形态素分析工具

Pecab是一个基于Mecab的纯Python韩语形态素分析工具,保留了Mecab的高速和准确性,同时简化了安装流程。该工具提供形态素分割、词性标注和名词提取等功能,并采用零拷贝内存映射和双数组字典树技术,显著提升了加载速度并降低了内存占用。Pecab为韩语自然语言处理提供了一个高效且易于使用的解决方案。

Kiwi - 韩语形态素高效分析工具,支持多语言包装
C++GithubKiwi开源项目모델 파일오픈 소스한국어 형태소 분석기
Kiwi是一款开源的韩语形态素分析器,旨在以高效速度和高精度为用户提供形态素分析。核心库使用C++编写,并支持Python、Java、C#等多种编程语言。Kiwi基于Sejong词性标注体系,并使用Sejong Corpus和모두의 말뭉치训练模型,能够纠正简单输入错误,并且支持多线程处理,适合大规模文本分析。提供多种实用功能及不同规模的模型选择。
open-korean-text - 高效处理韩语文本的开源库
Githubopen-korean-text开源项目文本处理自然语言处理韩语处理
open-korean-text 是一个强大的开源韩语文本处理库,支持正规化、分词、词干提取和短语提取等功能。该库适用于短文本和长文本处理,可在大数据分析等场景中进行简单的韩语处理和关键词提取。open-korean-text 性能出色,平均处理一条推文仅需0.54毫秒。项目提供多种语言的包装器,并欢迎社区贡献。
pycantonese - 适用于粤语NLP的Python库
GithubPyCantonese开源项目粤语语言学自然语言处理词性标注语料库
PyCantonese是一个专为粤语语言学和自然语言处理设计的Python库,具有语料库访问、粤拼转换、文本解析、分词和词性标注等功能。项目提供详细文档和快速入门,支持通过PyPI安装,并有活跃的社区持续优化。
khaiii - Kakao开源的韩语形态素分析工具
Githubkhaiii开源项目形态素分析机器学习自然语言处理韩语分析
khaiii是Kakao开发的开源韩语形态素分析工具,采用CNN算法实现。该项目结合预分析词典和错误修复技术,在保证准确率的同时提供高效处理速度。支持自定义词典,可用于韩语自然语言处理的基础预处理,适合大规模文本分析场景。
kagome - 纯Go实现的开源日语形态素分析工具 支持多种词典和分词模式
GithubGo语言Kagome分词开源开源项目日语形态素分析器
Kagome是一个用Go语言开发的开源日语形态素分析工具。它支持将MeCab-IPADIC和UniDic等多种词典嵌入二进制文件,并提供普通、搜索和扩展三种分词模式。Kagome可通过命令行、服务器或WebAssembly方式使用,具有性能高、易于集成和跨平台等特点,适用于各种日语文本处理任务。
fugashi - 日语分词和形态分析的Cython高效解决方案
GithubMeCabUniDicfugashi开源项目日本分词自然语言处理
fugashi是一个基于MeCab的Cython包装器,为Python用户提供高效的日语分词和形态分析功能。它支持Linux、OSX和Windows平台,并推荐使用易于安装的UniDic词典。用户可以通过pip轻松安装fugashi及其词典,实现高效的日语文本处理。除了标准词典,fugashi还支持自定义词典,同时为研究人员提供引用支持,满足不同用户需求。
PyKoSpacing - PyKoSpacing:Python包实现高精度韩文文本自动分词
GithubPyKoSpacing准确率开源项目文本预处理深度学习自动分词
PyKoSpacing利用深度学习模型,提供高精度的韩文文本自动分词,适用于在线短信和社交媒体文本。通过大规模语料库训练,PyKoSpacing在多种语料测试中展现了高准确率,支持多种安装方式及灵活的参数设置,以优化不同场景的分词效果。
pyhanlp - HanLP1.x的Python接口,功能全面的中文NLP工具包
GithubHanLPpyhanlp依存句法分析分词开源项目自然语言处理
pyhanlp是HanLP1.x的Python接口,支持中文分词、词性标注、命名实体识别、依存句法分析等多种NLP任务。项目提供自动下载升级功能,算法经工业界和学术界验证。配套《自然语言处理入门》书籍,支持命令行和API调用,适合NLP研究和工程应用。
vibrato - Viterbi算法驱动的高效分词器
GithubMeCabRustVibratotokenization开源项目形态素分析
Vibrato是利用Viterbi算法的高效分词器,用Rust重写并优化了MeCab分词器,显著提高分词性能。它支持与MeCab兼容的输出,并允许从自己的数据训练分词参数。Vibrato擅长处理大规模矩阵数据,加快分词速度。项目提供了Python接口和WebAssembly演示,兼顾多种应用场景。详见项目文档,可通过Slack社区进行讨论。支持Apache 2.0和MIT双许可。
sacremoses - 简洁高效的Python自然语言处理工具包和命令行界面
GithubPythonSacremoses令牌化开源项目归则化模型训练
Sacremoses是一个支持Python 3的自然语言处理工具包,提供分词、去分词、真字修复和文本规范化功能。支持命令行操作和多进程处理,让大规模文本处理变得更简单。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能,包括文生视频、动态画面和形象生成等,帮助用户快速上手,创造专业级内容。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台,用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品,帮助用户探索创意灵感。

Project Cover

讯飞文书

讯飞文书依托讯飞星火大模型,为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能,满足事务性工作的高频需求,帮助撰稿人节省精力,提高效率,优化工作与生活。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号