#InternLM

XTuner入门指南 - 高效灵活的大语言模型微调工具包

2024年09月10日
Cover of XTuner入门指南 - 高效灵活的大语言模型微调工具包

Tutorial教程项目:开启大模型实战之旅

2024年09月05日
Cover of Tutorial教程项目:开启大模型实战之旅

XTuner: 高效灵活的大语言模型微调工具包

2024年08月30日
Cover of XTuner: 高效灵活的大语言模型微调工具包
相关项目
Project Cover

xtuner

XTuner是一款高效灵活的大模型微调工具包,支持LLM和VLM在多种GPU上的预训练和微调。它能够在单个8GB GPU上微调7B模型,并支持超过70B模型的多节点微调。XTuner兼容DeepSpeed,支持多种优化技术,并涵盖多种微调方法如QLoRA和LoRA。该工具包提供连续预训练、指令微调和代理微调等功能,输出模型可以无缝集成到部署和评估工具中,适应多种应用场景。

Project Cover

Tutorial

书生大模型实战营为AI爱好者提供全面的学习体验。课程涵盖Linux、Python和Git基础,并深入探讨InternLM、XTuner和OpenCompass等先进工具。通过循序渐进的实践任务,学员可掌握模型训练、部署和评测技能。项目还设立奖励机制和'书生共学计划',促进知识分享和技术交流。该实战营分为入门、基础和进阶三个阶段,配备详细的任务指南和视频资料。学员可通过完成任务获得算力点奖励,并有机会解锁更高性能的计算资源。项目还包含LMDeploy量化部署、InternVL多模态模型等前沿内容,以及Android端部署等实用技能。

Project Cover

internlm-chat-7b

InternLM-Chat-7B是一款开源的AI模型,具备70亿参数,专为实际应用场景优化。模型通过高质量数据训练,以支持8k字符的长上下文和增强推理能力。用户可以利用灵活的工具集自定义其应用流程。使用OpenCompass评估显示出其在多项能力上的优势。需注意的是,生成文本时可能存在偏见和不当内容,需要谨慎使用。

Project Cover

internlm2_5-1_8b-chat

InternLM2.5是一个开源的18亿参数基础模型,拥有卓越的数学推理和增强的工具调用能力,其能够从多个网页搜集信息并进行分析和指令理解。在OpenCompass的评测中,该模型在MATH、GPQA等基准测试中表现突出。尽管在推理和综合能力上具有优越性,仍需注意潜在的风险输出。通过Transformers和LMDeploy工具,用户可以轻松加载和部署此模型以适应多种应用场景。

Project Cover

internlm2-base-7b

InternLM2-Base-7B是一个适应性强的开源模型,支持处理长达20万字的文本,具备精确的信息检索能力,并在推理、数学、编程任务中表现优异。通过OpenCompass工具验证,其性能适合广泛应用,是研究人员和开发者的理想选择。

Project Cover

internlm2_5-7b-chat

InternLM2.5-7B-Chat是一个开源的70亿参数大语言模型,在数学推理、百万字长文理解和工具调用等方面表现卓越。该模型在多项基准测试中超越同等规模模型,展现强大的综合能力。InternLM2.5-7B-Chat提供基础模型和对话模型,支持通过Transformers加载,并可使用LMDeploy、vLLM等方案部署,为开发者提供灵活的应用选择。

Project Cover

internlm2-chat-1_8b

InternLM2-Chat-1.8B是一款经过精确调整的1.8亿参数开源对话模型,通过监督微调和在线RLHF优化,支持超长文本处理,适用于多种应用场景。其在推理、数学和编码任务中表现出色,依照Apache-2.0协议开源,商用需申请许可。

Project Cover

internlm2-1_8b

InternLM2-1.8B是一个18亿参数的开源语言模型,包含基础模型、对话模型和RLHF对齐版本。它支持20万字的上下文输入,在长文本理解、推理、数学和编程方面表现优异。该模型开放学术研究使用,并提供免费商业授权申请渠道。

Project Cover

internlm2-chat-7b-sft

InternLM2-Chat-7B-SFT是一款对话模型,具备提升的推理、数学和代码能力,支持长达200K的上下文处理,能够进行代码解释和数据分析,经RLHF训练后可处理复杂任务,展现出可靠的工具使用能力。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号