Chinese-Word-Vectors

多样化中文词向量预训练模型集合

Chinese Word Vectors 词向量语义关系中文语料库 Github 开源项目

该项目集成了多种中文词向量模型，涵盖稠密和稀疏表示方法，以及词、n-gram、字符等上下文特征。同时提供中文类比推理数据集CA8和评估工具包，便于模型质量评估。这些预训练资源可应用于多种自然语言处理任务，为相关研究和开发工作提供了有力支持。

Github

文档

论文

介绍相关项目

fasttext-zh-vectors - fastText库：支持中文文本分类与词向量学习

GithubHuggingfacefastText开源项目文本分类模型训练数据词向量语言识别

fastText是开源且易于使用的库，可在标准硬件上快速进行文本表示学习和分类。此库支持157种语言，并包含预训练模型，适用于文本分类与语言识别，且能在多核CPU上快速训练、并适合移动设备应用。

nlp_chinese_corpus - 中文自然语言处理高质量多任务语料库

Github中文自然语言处理开源项目数据集词向量语料预训练

该中文自然语言处理项目提供丰富的高质量语料，包括维基百科条目、新闻、百科问答等，目标是解决中文大规模语料匮乏的问题。项目支持10大任务和9个模型的基准测试，并提供一键运行和详细性能比较，旨在提升中文NLP标准。适用于多种实际应用场景，如词向量训练、关键词生成和标题生成，方便研究人员和从业者获取和利用中文语料。

awesome-pretrained-chinese-nlp-models - 中文NLP预训练模型综合资源平台

Github中文NLP多模态模型大模型开源模型库开源项目预训练语言模型

awesome-pretrained-chinese-nlp-models提供多种中文自然语言处理预训练模型，涵盖基础大模型、对话型模型和多模态模型等。该平台不仅包括各模型的详细介绍、技术文档和下载链接，还定期更新，为研究人员和开发者提供全面的中文NLP资源。

vocab-coverage - 中文语言模型识字率与词向量分布分析

BERTERNIEGithub中文认知开源项目词向量语言模型

该项目分析了多种语言模型的中文识字率与词向量分布情况，通过字符集分类和词向量空间分布的研究，了解模型在处理中文字符时的认知能力。涵盖了BERT、ERNIE、roBERTa等模型的对比，以及不同字符集的识字判定，为后续的模型评估和改进提供了参考。

text2vec-base-chinese - 高效中文语义匹配与文本嵌入模型

CoSENTGithubHuggingfacesentence-transformers中文模型开源项目文本匹配模型语义相似度

text2vec-base-chinese是一个采用CoSENT方法训练的中文语义匹配模型，可将句子转换为768维密集向量。该模型在句子嵌入、文本匹配和语义搜索等任务中表现优异，在多项中文文本匹配基准测试中展现出卓越性能和效率。模型支持通过text2vec、Hugging Face Transformers或sentence-transformers等库轻松集成，便于开发者快速应用于实际项目中。

text2vec-base-chinese-paraphrase - 中文语义匹配模型实现句子和段落的向量表示

CoSENTGithubHuggingfaceernie-3.0-base-zhtext2vec句子嵌入开源项目模型语义匹配

text2vec-base-chinese-paraphrase模型采用CoSENT方法训练，将句子映射至768维向量空间。该模型在中文自然语言推理测试中表现出色，适用于句子嵌入、文本匹配和语义搜索等任务。它基于ERNIE 3.0模型微调，使用精选中文STS数据集训练，尤其擅长句子与段落间的语义匹配。模型支持最大256个token的输入，为中文文本处理提供了高效的语义表示工具。

ChineseWebText - 大规模中文网络文本数据集及其评估工具链

ChineseWebTextGithub开源项目数据评估模型网页文本处理自然语言处理高质量中文数据集

ChineseWebText是一个大规模中文网络文本数据集，总容量达1.42TB，每条文本均附带质量评分。该项目还提供了一个600GB的高质量子集，文本质量均超过90%。项目包含EvalWeb工具链，用于从原始网络数据中提取优质中文文本。EvalWeb通过数据准备、预处理和BERT评估模型对文本质量进行筛选和评估。此外，项目还开发了基于FastText的快速分类器，在保持性能的同时提高了处理效率。

Chinese-Tiny-LLM - 中文大语言模型训练流程与高质量语料库开源项目

Chinese-Tiny-LLMGithub中文语料库开源项目自然语言处理语言模型预训练

Chinese-Tiny-LLM项目提供完整的中文网络语料清洗流程和预训练代码，包含MAP-CC（8000亿中文token预训练数据集）、CHC-Bench（中文难例指令理解基准测试）和CT-LLM（2B参数中文中心语言模型）。该项目突破了传统依赖英语语料库的LLM训练方法，为构建更具包容性和适应性的语言模型奠定基础。

fasttext-en-vectors - 多语言词向量学习和文本分类开源库

GithubHuggingfacefastText开源项目文本分类机器学习模型自然语言处理词向量

fastText是一个开源轻量级库，专注于词向量学习和文本分类。它支持157种语言，可在普通硬件上快速训练，并提供预训练模型。fastText适用于文本分类、语言识别等任务，从实验到生产均可使用。该库简单易用，能在短时间内处理海量文本，是自然语言处理领域的高效工具。

text2vec-large-chinese - 中文大规模句子相似性与特征提取模型

GithubHuggingfaceMacBERTtext2vectransformers句子相似度开源项目模型特征提取

基于text2vec衍生的中文模型，采用LERT替代MacBERT，提高句子相似性和特征提取效率。支持onnxruntime，发布于2024年6月25日。

相关项目

推荐项目

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能，包括文生视频、动态画面和形象生成等，帮助用户快速上手，创造专业级内容。

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台，用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品，帮助用户探索创意灵感。

讯飞文书

讯飞文书依托讯飞星火大模型，为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能，满足事务性工作的高频需求，帮助撰稿人节省精力，提高效率，优化工作与生活。

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com