LLM-workshop-2024

从零开始的LLMs预训练和微调教程

本教程为编码人员提供了对大型语言模型（LLMs）构建模块和工作原理的深入理解。从LLMs的基础概念和应用案例开始，涵盖了小型GPT模型的数据输入管道、核心架构组件和预训练代码的编写。教程还包括如何加载预训练权重和使用开源库进行微调的实战技能。

访问官网

Github

文档

论文

介绍相关项目

llm_distillation_playbook - 大语言模型蒸馏技巧与实践指南

GPT-4GithubLLM开源开源项目模型蒸馏评估标准

LLM Distillation Playbook项目提供了系统化的大语言模型蒸馏实践指南。该项目探讨了模型蒸馏的关键概念、评估标准和实用技巧，涵盖数据准备到模型部署的全流程。它为工程师和ML实践者提供见解，帮助在生产环境中将大型语言模型压缩为高效小型版本。该指南融合学术研究和实践经验，是开源LLM开发的参考资源。

LLMSurvey - 大型语言模型（LLM）的论文和资源的汇总

GPT系列GithubLLMSurvey大型语言模型开源项目技术演进调优实验

LLMSurvey 汇总了大量关于大型语言模型（LLM）的论文和资源。介绍了从GPT到LLaMA系列的技术演变，分析了在指令调整实验中不同类型指令对LLM性能的影响，同时提供了针对初学者的中文书籍，以帮助理解该领域的基本框架和发展路线。

nlp-de-cero-a-cien - 从零开始学习NLP，实践Hugging Face开发

GithubHugging FaceNLPTransformers开源项目机器学习自然语言处理

本项目提供全面的NLP学习课程，涵盖词嵌入到Transformer模型等关键技术。7次在线课程由行业专家授课，学习者可掌握核心知识并使用Hugging Face开发应用。课程设计适合不同水平学习者，提供录像回放及社区支持。

PyTorch_Tutorial - PyTorch深度学习实践教程

GithubPyTorch代码实践开源项目教程模型训练深度学习

PyTorch_Tutorial是一个综合性深度学习教程项目，专注于PyTorch框架的应用。教程涵盖基础到高级的模型训练技巧，提供计算机视觉、自然语言处理和大型语言模型等领域的实践案例。内容还包括ONNX和TensorRT等推理部署框架的使用指南，展示了从模型开发到部署的完整流程。项目定期更新，配有环境配置说明，适合深度学习研究者和实践者参考学习。

SmallLanguageModel-project - 自主构建完整的语言模型，从数据采集到训练一步到位

GithubPythonSmallLanguageModel依赖安装开源项目数据处理模型训练

该项目提供全面的构建语言模型指南，包括数据收集、预处理及模型训练。项目涵盖从数据采集到训练多种模型（如BERT、GPT、Seq-2-Seq）的全部必要工具和步骤。适用于Python 3.8及以上版本，通过详细的教程和文档帮助开发者高效实现模型训练与应用。

llm - LLM实验项目集合探索大型语言模型应用

API密钥GithubLLM实验OpenAIPinecone开源项目虚拟环境

该开源项目提供了一系列LLM实验。内容包括虚拟环境设置、必要包安装以及API集成指南。通过这些实验，开发者可以深入了解大型语言模型的应用，探索AI文本处理和向量数据库技术。项目注重实践，为AI领域学习者提供了有价值的资源。

Use-LLMs-in-Colab - 如何在Colab中集成及优化各类大语言模型的指南

AutoGPTChatGenTitleGithubLLMLangChainMiniGPT-4开源项目

本指南详细介绍如何在Google Colab上使用和集成多种大语言模型(LLMs)，如AutoGPT、ChatGenTitle、GroundedSAM、MiniGPT-4、LangChain等流行模型。提供了丰富的链接和实际案例，帮助研究人员和开发者优化、部署和评估这些模型，提高使用效率。

llms_tool - 多功能大语言模型训练测试工具包

GithubHuggingFaceRLHF分布式训练大语言模型开源项目预训练

llms_tool是一个基于HuggingFace的大语言模型工具包，支持多种模型的训练、测试和部署。它提供预训练、指令微调、奖励模型训练和RLHF等功能，支持全参数和低参数量训练。工具包集成WebUI和终端预测界面，以及DeepSpeed分布式训练。涵盖ChatGLM、LLaMA、Bloom等主流模型，提供多种训练方法和量化选项。

llm-action - 提升AI模型训练与推理效率的高级技术与指南

GithubLLM实战LLM训练分布式训练参数高效微调开源项目微调技术

llm-action项目为NVIDIA GPU和Ascend NPU上的大模型训练提供简易工具，详细介绍了LLM训练技术的高效微调和分布式技术。深入探究LLM微调实战与技术原理，并提供实际代码示例以供学习和应用。涵盖普适性框架与多模态微调专项技术，适合开发者与研究人员优化和扩展其AI模型的能力。

xllm - 便捷微调大语言模型，集成最新优化技术

GithubX—LLM大语言模型开源项目模型训练训练优化集成开发

X—LLM是一个便捷的微调大语言模型工具，集成了诸如QLoRA、DeepSpeed、GPTQ、Flash Attention 2和FSDP等最新优化方法，显著提升训练效率。用户可以专注于模型和数据的优化，而不需要繁琐的代码编写。该工具支持多种Transformer模型，并可无缝对接HuggingFace Hub，适用于生产环境和快速原型设计，有助于用户更好地掌控模型训练进度并降低开销。

相关项目

推荐项目

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

稿定AI

稿定设计是一个多功能的在线设计和创意平台，提供广泛的设计工具和资源，以满足不同用户的需求。从专业的图形设计师到普通用户，无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑，稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合，帮助用户轻松实现创意设计。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com