nlp_chinese_corpus

中文自然语言处理高质量多任务语料库

中文自然语言处理语料预训练数据集词向量 Github 开源项目

该中文自然语言处理项目提供丰富的高质量语料，包括维基百科条目、新闻、百科问答等，目标是解决中文大规模语料匮乏的问题。项目支持10大任务和9个模型的基准测试，并提供一键运行和详细性能比较，旨在提升中文NLP标准。适用于多种实际应用场景，如词向量训练、关键词生成和标题生成，方便研究人员和从业者获取和利用中文语料。

访问官网

Github

介绍相关项目

CoreNLP - 多语言支持的Java自然语言处理工具集

GithubJavaStanford CoreNLP分析工具开源项目模型自然语言处理

Stanford CoreNLP 是用 Java 编写的自然语言处理工具集。它处理文本输入，提供词形还原、词性标注、实体识别、日期和数量标准化等功能。支持包括英语、阿拉伯语、中文、法语、德语等多种语言。该工具集集成度高，仅需两行代码即可运行所有工具，广泛应用于学术界、工业界和政府部门。

Medical_NLP - 医疗行业自然语言处理资源汇总，包括评测、数据集和预训练模型

GithubMedical_NLP中文医疗基准测评开源项目开源预训练模型数据集评测

本页面汇总了最新的医疗自然语言处理资源，涵盖基准评测、比赛信息、多语言数据集、开源预训练模型、学术论文和工具包等内容。为研究人员和开发者提供一站式资源支持，以提升医疗NLP领域的研究深度和应用效果。

nlp-paper - 自然语言处理经典与前沿论文推荐与解析

GithubNLP-Paper代码开源项目搜索工具论文阅读笔记

本项目提供自然语言处理领域经典与前沿论文的更新与精读笔记，涵盖大模型、聚类、向量召回和对话系统等多个主题。配备搜索工具，高效查找所需论文及笔记。同时提供文本相似度计算、对话系统构建和其他NLP工具代码仓库链接，提供技术支持与参考。

cogvlm2-llama3-chinese-chat-19B - 双语视觉语言模型，支持大规模文本和图像解析

CogVLM2GithubHuggingface中文支持开源模型开源项目文本生成模型视觉理解

CogVLM2-LLaMA3-Chinese 是一个开源模型，支持中文和英文，表现出显著性能提升，比如在 TextVQA 和 DocVQA 基准测试中。这一模型支持最大8K的文本长度和1344*1344的图像分辨率，特别适合文本和图像的理解与对话任务。构建于Meta-Llama-3-8B-Instruct基础之上，用户可在ZhipuAI开放平台进行实际体验，适用于需要强大图像解析和多语言支持的场景。

bert-base-multilingual-uncased - BERT多语言预训练模型支持102种语言的自然语言处理

BERTGithubHuggingface多语言模型开源项目机器学习模型自然语言处理预训练

bert-base-multilingual-uncased是基于102种语言的维基百科数据预训练的BERT模型。它采用掩码语言建模进行自监督学习，可支持多语言自然语言处理任务。该模型不区分大小写，适用于序列分类、标记分类和问答等下游任务。通过在大规模多语言语料库上预训练，模型学习了多语言的双向语义表示，可通过微调适应特定任务需求。

chinese-bert-wwm - 基于全词掩码技术的中文自然语言处理模型

BERTGithubHuggingface中文自然语言处理全词掩码开源项目机器学习模型预训练模型

chinese-bert-wwm 是一个采用全词掩码技术的中文 BERT 预训练模型。该模型由哈工大讯飞联合实验室（HFL）开发，基于 Google BERT 架构，通过全词掩码方式优化中文语言理解能力。模型支持文本分类、命名实体识别等自然语言处理任务，是 MacBERT、ELECTRA 等中文预训练模型系列的重要组成部分。

text2vec-large-chinese - 中文大规模句子相似性与特征提取模型

GithubHuggingfaceMacBERTtext2vectransformers句子相似度开源项目模型特征提取

基于text2vec衍生的中文模型，采用LERT替代MacBERT，提高句子相似性和特征提取效率。支持onnxruntime，发布于2024年6月25日。

mindnlp - 开源自然语言处理与大语言模型框架

GithubMindNLPMindSpore大语言模型开源项目自然语言处理预训练模型

MindNLP是一个基于MindSpore的开源自然语言处理库，支持语言模型、机器翻译、问答系统、情感分析、序列标注和摘要生成等多种任务。该项目集成了BERT、Roberta、GPT2和T5等多种预训练模型，通过类似Huggingface的API简化了使用流程。用户可通过pypi或源代码安装该库，并支持包括Llama、GLM和RWKV在内的大型语言模型的预训练、微调和推理，非常适合研究者和开发人员构建和训练模型。

Awesome-LLMs-Datasets - 完整收录大型语言模型数据集的多维度分类概览

GithubLLMs数据集大语言模型开源项目指令微调数据集评估数据集预训练语料库

这个项目全面收集和分类了大型语言模型(LLM)数据集，包括预训练语料库、指令微调数据集、偏好数据集、评估数据集和传统NLP数据集五大类别。新增的内容涵盖多模态大语言模型数据集和检索增强生成数据集。项目统计了444个数据集的详细信息，覆盖8种语言和32个领域，为LLM研究提供了全面参考资源。

NLPer-Arsenal - NLP竞赛策略、任务教程与学习资源

GithubNLPer-ArsenalNLP竞赛会议时间学习资料开源项目算力推荐

NLP人军火库收集了丰富的NLP竞赛策略、任务教程及经验帖，涵盖文本分类和生成等任务的详细基线。包括往期和当前重点赛事信息、自媒体推荐、算力资源、主要竞赛平台和会议时间记录等。如有帮助，请star支持，并在转载时注明项目github链接，感谢对开源环境的贡献。

相关项目

项目侧边栏1

项目侧边栏2

推荐项目

Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能，包括文生视频、动态画面和形象生成等，帮助用户快速上手，创造专业级内容。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台，用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品，帮助用户探索创意灵感。

Project Cover

讯飞文书

讯飞文书依托讯飞星火大模型，为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能，满足事务性工作的高频需求，帮助撰稿人节省精力，提高效率，优化工作与生活。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com

@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号