#MindSpore
chatbot
该项目提供一个可用自定义语料训练的中文聊天机器人,并即将推出GPT版本,新增MindSpore支持。项目包含Seq2Seq和GPT两大分支,计划于2024年内实现类似mini-GPT4的图文多模态对话功能,并增强分布式集群训练能力。用户可下载小黄鸡语料进行实践,项目支持TensorFlow和PyTorch。
mindnlp
MindNLP是一个基于MindSpore的开源自然语言处理库,支持语言模型、机器翻译、问答系统、情感分析、序列标注和摘要生成等多种任务。该项目集成了BERT、Roberta、GPT2和T5等多种预训练模型,通过类似Huggingface的API简化了使用流程。用户可通过pypi或源代码安装该库,并支持包括Llama、GLM和RWKV在内的大型语言模型的预训练、微调和推理,非常适合研究者和开发人员构建和训练模型。
step_into_llm
昇思MindSpore技术公开课提供多领域专家解读,并结合理论与实践,涵盖前沿大模型技术。课程免费,提供开源课件代码,从Transformer到ChatGPT,探讨最新大模型发展趋势。适合所有开发者,系列课程在B站直播,资源同步上传至GitHub。报名参与,与社区共建AI技术未来。
Pretrained-Language-Model
此开源项目汇集了多个先进的预训练语言模型和相关优化技术。包含200B参数中文语言模型PanGu-α、高性能中文NLP模型NEZHA、模型压缩技术TinyBERT和DynaBERT等子项目。这些模型在多项中文NLP任务中表现出色,支持MindSpore、TensorFlow和PyTorch等多种深度学习框架。
mindone
MindONE是一个专注于多模态理解和内容生成的开源仓库。它集成了Stable Diffusion、InternVL、LLaVA等AI模型,支持文本生成图像、视频和音频的pipeline。该项目还提供大规模训练、模型微调等功能,并与HuggingFace Diffusers兼容,为AI领域的研究和开发提供了全面的工具支持。
mindocr
MindOCR是一个基于MindSpore的开源OCR开发工具箱,集成主流文本检测和识别算法。该工具箱提供易用的训练和推理接口,加速文本检测识别模型的开发和部署。MindOCR支持DBNet、CRNN等多种算法,采用模块化设计,并提供高性能预训练模型。研究人员和开发者可以利用MindOCR快速构建OCR应用,实现高效的图像文本理解。
mindformers
MindFormers是基于MindSpore的大模型开发套件,提供全流程开发能力。支持LLama2、GLM2、BERT等主流Transformer模型和文本生成、图像分类等任务。具备并行训练、灵活配置、自动优化等特性,可实现从单卡到集群的无缝扩展。提供高阶API和预训练权重自动下载,便于AI计算中心快速部署。