Project Icon

MiNLP

迈向智能文本解析的先进中文自然语言处理平台

小米自然语言处理平台(MiNLP)涵盖词法、句法和语义分析模块,已在公司业务中广泛应用。MiNLP-Tokenizer中文分词工具自2020年11月开源以来不断优化。2021年计划开源词性标注和命名实体识别工具,并逐步开源句法和语义分析工具,致力于打造功能领先的NLP平台。duckling-fork-chinese专注于中文结构化解析,广泛应用于小爱生产环境,尤其在数字和时间解析方面表现出色。

awesome-pretrained-chinese-nlp-models - 中文NLP预训练模型综合资源平台
Github中文NLP多模态模型大模型开源模型库开源项目预训练语言模型
awesome-pretrained-chinese-nlp-models提供多种中文自然语言处理预训练模型,涵盖基础大模型、对话型模型和多模态模型等。该平台不仅包括各模型的详细介绍、技术文档和下载链接,还定期更新,为研究人员和开发者提供全面的中文NLP资源。
MiniCPM - 轻量级大语言模型实现高性能端侧部署
GithubMiniCPM多模态开源模型开源项目模型量化端侧大语言模型
MiniCPM是一系列高效的端侧大语言模型,仅有2.4B非词嵌入参数。经过优化后,在多项评测中表现优异,甚至超越了一些参数量更大的模型。该项目支持多模态功能,可在移动设备上流畅运行。MiniCPM开源了多个版本,涵盖文本、多模态、量化和长文本等应用场景,适用于学术研究和特定商业用途。这一开源项目由面壁智能与清华大学自然语言处理实验室联合开发。
ArticutAPI - 中文语法结构断词与词性标记服务
APIArticutGithub开源项目文本分析斷詞詞性標記
基于语法结构的中文断词与词性标记服务,适用于文本分析和聊天机器人。支持批量和即时处理,操作简便。通过 ArticutAPI,获取高效中文自然语言处理解决方案,灵活使用自定义词典与政府开放数据。
tiny-llama-fast-tokenizer - 测试用途的轻量级语言模型分词器
GithubHuggingface开源项目权重初始化模型模型测试模型评估测试目的随机权重
tiny-llama-fast-tokenizer是一个专为测试目的设计的轻量级语言模型分词器。该项目使用随机权重,主要用于快速验证分词过程。它不适用于实际生产环境,但对于开发者进行初步测试和评估非常有用。这个工具为开发者提供了一个简单的方式来验证和测试分词过程,特别适合在开发初期快速进行概念验证。
nlp_chinese_corpus - 中文自然语言处理高质量多任务语料库
Github中文自然语言处理开源项目数据集词向量语料预训练
该中文自然语言处理项目提供丰富的高质量语料,包括维基百科条目、新闻、百科问答等,目标是解决中文大规模语料匮乏的问题。项目支持10大任务和9个模型的基准测试,并提供一键运行和详细性能比较,旨在提升中文NLP标准。适用于多种实际应用场景,如词向量训练、关键词生成和标题生成,方便研究人员和从业者获取和利用中文语料。
spark-nlp - 高效自然语言处理与大规模语言模型开源库
Apache SparkGithubSpark NLP开源项目机器学习自然语言处理预训练模型
Spark NLP 是一个基于 Apache Spark 的开源库,提供高效且准确的自然语言处理注释,支持机器学习管道的分布式扩展。该库包含超过 36000 个预训练管道和模型,支持 200 多种语言,涵盖分词、词性标注、嵌入、命名实体识别、文本分类、情感分析、机器翻译等任务。兼容 BERT、RoBERTa 等主流变压器模型,支持 Python、R、Java、Scala 和 Kotlin。
Pretrained-Language-Model - 先进预训练语言模型与优化技术集合
GithubMindSporePyTorchTensorFlow开源项目自然语言处理预训练语言模型
此开源项目汇集了多个先进的预训练语言模型和相关优化技术。包含200B参数中文语言模型PanGu-α、高性能中文NLP模型NEZHA、模型压缩技术TinyBERT和DynaBERT等子项目。这些模型在多项中文NLP任务中表现出色,支持MindSpore、TensorFlow和PyTorch等多种深度学习框架。
HugNLP - 基于Hugging Face的全面NLP开发应用框架
GithubHugNLPNLP应用开发开源项目指令微调预训练语言模型
HugNLP是基于Hugging Face的NLP开发应用库,为研究人员提供便利高效的开发环境。它集成了丰富的模型、处理器和应用模块,支持知识增强预训练、提示微调、指令调优等技术。该框架还包含参数高效学习、不确定性估计等工具,可用于构建多种NLP应用。HugNLP获得CIKM 2023最佳演示论文奖。
open-parse - 高效复杂文档解析和语义分析库
AI应用GithubMarkdown支持Open Parse开源项目文档解析语义处理
Open Parse是一个开源的文档解析库,专注于处理复杂文档结构。它采用视觉分析方法识别文档布局,实现精确分块。该工具支持Markdown语法,具备高精度表格解析能力,并允许用户自定义后处理步骤。Open Parse集成了语义处理功能,能够模拟人类的文档分割方式,为RAG系统和AI应用提供了强大的文档处理基础。
tokenizer - Go语言实现的自然语言处理分词库
GithubGo语言NLPTokenizer分词开源项目预训练模型
Tokenizer是一个纯Go语言实现的自然语言处理分词库,支持Word level、Wordpiece和BPE等多种分词模型。该项目可用于训练新模型或微调现有模型,并兼容HuggingFace预训练模型。Tokenizer为Go开发者提供了构建NLP应用所需的工具,助力高效生产级软件开发。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号