Logo

#预训练语言模型

awesome-pretrained-chinese-nlp-models学习资料汇总 - 高质量中文预训练模型集合

1 个月前
Cover of awesome-pretrained-chinese-nlp-models学习资料汇总 - 高质量中文预训练模型集合

BERT分类教程:从入门到精通

2 个月前
Cover of BERT分类教程:从入门到精通

T-Few: 高效的少样本参数微调方法

2 个月前
Cover of T-Few: 高效的少样本参数微调方法

Baichuan-7B:开源大规模预训练语言模型的新标杆

2 个月前
Cover of Baichuan-7B:开源大规模预训练语言模型的新标杆

PhoBERT: 越南语预训练语言模型的突破性进展

2 个月前
Cover of PhoBERT: 越南语预训练语言模型的突破性进展

HugNLP: 基于HuggingFace Transformer的统一全面NLP库

2 个月前
Cover of HugNLP: 基于HuggingFace Transformer的统一全面NLP库

预训练语言模型:NLP领域的重大突破与应用前景

2 个月前
Cover of 预训练语言模型:NLP领域的重大突破与应用前景

中文预训练自然语言处理模型的发展与应用

2 个月前
Cover of 中文预训练自然语言处理模型的发展与应用

相关项目

Project Cover
awesome-pretrained-chinese-nlp-models
awesome-pretrained-chinese-nlp-models提供多种中文自然语言处理预训练模型,涵盖基础大模型、对话型模型和多模态模型等。该平台不仅包括各模型的详细介绍、技术文档和下载链接,还定期更新,为研究人员和开发者提供全面的中文NLP资源。
Project Cover
PromptKG
本页面全面展示了Prompt学习与知识图谱相关的研究成果,包括模型实现、基于预训练语言模型的知识图谱嵌入与应用、知识图谱动态编辑库以及入门教程。此外,还涵盖了零样本和少样本NLP、数据高效知识图谱构建方面的教程,并提供了有关Prompt调优、知识探测和知识图谱补全的系统性调查和研究论文列表。
Project Cover
LLMBook-zh.github.io
本书全面介绍了大语言模型技术,包括基础原理、关键技术和应用前景。通过深入研究,大模型的发展历程得到探索,其中包含OpenAI的GPT系列模型和训练细节。本书适合具有深度学习基础的高年级本科生和低年级研究生,为科研人员提供指导,推动人工智能技术的进步。
Project Cover
TextPruner
TextPruner提供低成本且无需训练的方法来优化预训练语言模型,通过减少模型尺寸加快推理速度。兼容多种NLU模型,提供用户友好的接口,支持词汇、Transformer和流水线剪枝。用户可以方便地根据需求自定义配置。详细文档和实验结果支持,帮助用户快速上手并验证性能提升。适用于Python 3.7及以上版本,依赖torch和transformers库。
Project Cover
Baichuan-7B
Baichuan-7B是由百川智能开发的开源可商用中英双语大规模预训练语言模型。基于Transformer结构,该模型在1.2万亿tokens上训练,拥有70亿参数,并提供4096长度的上下文窗口。在中文和英文的基准测试(C-Eval和MMLU)中表现出色。该模型可在Hugging Face和ModelScope平台上获取,适合开发者和研究人员使用。
Project Cover
Pretrained-Language-Model
此开源项目汇集了多个先进的预训练语言模型和相关优化技术。包含200B参数中文语言模型PanGu-α、高性能中文NLP模型NEZHA、模型压缩技术TinyBERT和DynaBERT等子项目。这些模型在多项中文NLP任务中表现出色,支持MindSpore、TensorFlow和PyTorch等多种深度学习框架。
Project Cover
t-few
t-few项目提出一种少样本参数高效微调方法,在多个NLP任务中表现优于GPT-3的上下文学习。项目开源代码包含环境配置、实验运行等功能,并在RAFT基准测试中达到领先水平。这为NLP领域少样本学习提供了高效且低成本的解决方案,研究人员可基于此进行深入研究。
Project Cover
HugNLP
HugNLP是基于Hugging Face的NLP开发应用库,为研究人员提供便利高效的开发环境。它集成了丰富的模型、处理器和应用模块,支持知识增强预训练、提示微调、指令调优等技术。该框架还包含参数高效学习、不确定性估计等工具,可用于构建多种NLP应用。HugNLP获得CIKM 2023最佳演示论文奖。
Project Cover
bert-classification-tutorial
这是一个基于BERT模型的现代化文本分类实现项目。项目采用最新的Python、PyTorch和Transformers库,为自然语言处理任务提供了高质量模板。完整流程涵盖数据准备、模型训练和评估,并具有清晰的代码结构和详细说明。虽然主要针对livedoor新闻语料库的分类任务,但也易于适应其他文本分类需求。
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号