#微调

本书详细介绍了如何从零开始编码、构建和训练GPT类大语言模型。提供逐步指导、清晰图示和示例，适合教育用途的小型模型开发，并包含大模型预训练权重加载和微调的代码示例。

LitGPT为开发者提供超过20种高性能的大型语言模型（LLMs），具备从头开始的实现、无抽象层和企业级的性能优化。适合于训练、微调和部署大规模应用，支持新手入门，简化企业级部署流程。提供全面的Python API文档和优化教程，使得部署AI模型更快速、更经济、更有效率。

川虎Chat是一个针对ChatGPT及其他大语言模型(LLM)设计的Web图形界面，提供了丰富的功能和灵活的扩展性。项目支持多种模型本地部署与API调用，包括新版GPT和其他主流LLM。新增特性如PWA应用程序安装、自动历史命名、美观的毛玻璃效果，为用户带来更流畅和亲切的操作体验。针对开发者和技术爱好者，川虎Chat还提供了丰富的自定义功能和详细的部署指导。

了解如何使用LoRA和Hugging Face Transformers库高效微调大型语言模型。项目提供详细的教程笔记本，包括在Colab中微调Llama 2、GPT-Neo-X-20B、MPT-Instruct-30B等模型的指导和代码示例。无论新手或专家，均可找到实用资源，提升语言模型性能。欢迎贡献和提交问题，共同完善此开源项目。

本仓库汇集了大语言模型（LLMs）的面试知识和实用资源，适合准备大模型面试的求职者。内容涵盖大模型基础、架构、训练数据、分布式训练、推理优化、强化学习、RAG技术、模型评估及应用案例。提供详细的知识点解析和操作指南，并附有项目示例和在线体验链接。定期更新，确保内容时效性和实用性。欢迎访问在线阅读页面，关注微信公众号获取更多相关信息。

RAG-Retrieval项目通过统一方式调用不同RAG排序模型，支持全链路微调与推理。其轻量级Python库扩展性强，适应多种应用场景，提升排序效率。更新内容包括基于LLM监督的微调及其Embedding模型的MRL loss性能提升。

本教程为编码人员提供了对大型语言模型（LLMs）构建模块和工作原理的深入理解。从LLMs的基础概念和应用案例开始，涵盖了小型GPT模型的数据输入管道、核心架构组件和预训练代码的编写。教程还包括如何加载预训练权重和使用开源库进行微调的实战技能。

MedicalGPT项目采用多阶段方法如增量预训练、精细微调及奖励建模强化学习，优化医疗GPT模型，增强医疗对话与问答系统的性能。模型以人类反馈为基础，通过直接偏好优化和强化学习策略，调整生成对话的质量与人类偏好的契合度，提供科学准确的医疗咨询，项目持续接入先进的医疗语言处理技术，应对医疗领域的需求变化。

VisualGLM-6B是一个开源多模态对话语言模型，具备处理图像、中文和英文的能力。该模型继承自强大的ChatGLM-6B基础，增添了6.2亿参数，整合了先进的BLIP2-Qformer技术，达到了语言和视觉数据的高效融合。模型总参数量为7.8亿，展现在多个核心多模态任务上的卓越效能。针对各种应用场景均进行了优化，支持在消费级显卡上运行，降低了使用门槛，拓展了其在学术研究和实务应用中的潜力。

课程提供丰富的实战代码和案例，从基础入门到高效微调以及低精度和分布式训练。涵盖命名实体识别、机器阅读理解和生成式对话机器人等NLP任务。帮助深入理解Transformers的核心组件和参数微调技术，包括模型优化和分布式训练。适合对Transformers应用和实践感兴趣的学习者。课程在B站和YouTube持续更新，紧跟技术前沿。

本项目使用Lora技术微调了OpenAI的Whisper语音识别模型，并支持CTranslate2和GGML加速。模型能够进行无时间戳、有时间戳及无语音数据训练，并支持中文和98种其他语言的语音转文本及翻译。开源了多个适用于不同需求的模型，支持Windows、Android和服务器部署。提供详细的安装教程和使用说明，以及AIShell和WenetSpeech数据的评估和推理速度测试表，方便用户快速上手。

llama3中文版本发布，提供丰富中文对话数据集和多种微调选项（如DPO、SFT、RLHF）。项目包含详细的API部署教程、本地LMStudio教程和vLLM云端部署方式，适用于不同用户需求。欢迎加入，完善中文AI模型。

本项目提供详细的ChatGLM系列模型微调教程，支持全参数训练、Lora、AdaLora、IA3及P-Tuning-V2等方法。涵盖最新更新，如支持accelerator和colossalai训练，解除chatglm-6b-int4全参训练限制等。项目包含数据处理、推理脚本及多种训练参数设置，适合深度学习研究与应用。

mistral-finetune是一个基于LoRA技术的轻量级框架，通过仅训练1-2%的额外权重来实现Mistral模型的高效微调。该框架支持多GPU单节点训练，适合A100或H100 GPU使用。它提供简化的数据格式要求和验证工具，支持指令跟随和函数调用等多种训练模式，适用于各类微调需求。

nano-llama31是一个轻量级的Llama 3.1架构实现，无需额外依赖。该项目聚焦8B基础模型，提供训练、微调和推理功能。相比Meta官方和Hugging Face的版本，代码更为精简。目前正在开发中，已支持Tiny Stories数据集的微调。未来计划增加混合精度训练、分布式数据并行等功能，并考虑扩展到更大规模的Llama 3模型。

本项目展示了Florence-2模型的微调方法。Florence-2是一个基础视觉语言模型，特点是模型小且性能强。项目包含模型安装、数据准备和代码修改说明，并提供单GPU及分布式训练脚本。这些工具可用于Florence-2的特定任务训练，适用于各种计算机视觉和视觉语言任务。

fsdp_qlora项目结合FSDP与量化LoRA,实现了在有限显存GPU上高效训练大型语言模型。支持HQQ和bitsandbytes的4位量化、LoRA、DoRA等多种策略,大幅降低内存占用。项目提供详细文档,便于快速上手使用。该方法使在消费级GPU上训练70B参数模型成为可能,为大模型研究提供了实用工具。

Notus是一个采用SFT、DPO等技术微调的AI模型集合，专注于数据优先和以人为本的方法。这些模型主要用作聊天应用中的智能助手，通过Chat和Academic基准评估性能。Notus在HuggingFace Hub上提供多种规模的模型和交互式聊天界面。该项目整合了开源社区的贡献，为AI助手的研发提供重要资源。

LLaMA2-Accessory是一个全面的开源工具包,专注于大规模语言模型和多模态语言模型的开发。该工具支持预训练、微调和部署,涵盖多种数据集和任务类型。工具包提供高效的优化和部署方法,并兼容多种视觉编码器和语言模型。其中还包含SPHINX,这是一个融合多种训练任务、数据领域和视觉嵌入的多功能多模态大型语言模型。

LLMsNineStoryDemonTower项目提供全面的大语言模型学习资源，涵盖NLP基础到高级应用的九个层次。内容包括ChatGLM、Baichuan、Llama2等主流模型实践，以及模型微调、推理加速和多模态应用等进阶主题。该项目为学习者构建了从理论到实践的完整大语言模型学习路径。

该项目收集整理了大语言模型(LLMs)领域的面试题和学习资料,内容涵盖基础知识、进阶技能、微调方法、LangChain应用等方面。通过详细的问答解析,帮助读者理解LLM的核心概念、训练技巧和参数高效微调等关键技术。项目为准备面试和深入学习大模型技术的人提供了全面实用的参考资源。

TRL是一个开源的全栈工具库，专用于大型语言模型的微调和对齐。它支持监督式微调、奖励建模和近端策略优化等方法，适用于多种模型架构。该库基于Transformers构建，提供灵活的训练器和自动模型类，并集成Accelerate、PEFT等工具实现高效扩展。TRL还提供命令行界面，方便用户进行模型微调和交互。

torchtune是一个PyTorch原生库，专为简化大语言模型(LLM)的创建、微调和实验而设计。该库提供了主流LLM的PyTorch实现、易用的微调技术配方、YAML配置文件和多种数据集格式支持。torchtune注重与生态系统工具集成，如Hugging Face、EleutherAI评估工具和PyTorch FSDP等。支持多种模型和微调方法，并优化内存效率，适配不同硬件环境。

RoleLLM框架旨在评估和增强大语言模型的角色扮演能力。该框架包含RoleBench数据集、Context-Instruct知识提取方法、RoleGPT风格模仿技术和RoCIT微调策略。通过这些组件，RoleLLM显著提升了开源模型的角色扮演表现，在某些方面达到了与GPT-4相当的水平。这一框架为大语言模型在角色扮演任务中的应用提供了新的研究方向。

Octo是一个基于transformer的扩散策略模型，通过80万条多样化机器人轨迹数据训练而成。该模型支持多个RGB相机输入，可控制各种机器人手臂，并接受语言命令或目标图像指令。其模块化注意力结构使其能高效迁移至新的传感器输入、动作空间和形态。项目提供预训练模型、微调脚本和评估示例，便于研究人员进行深入开发和应用。

Platypus是一个开源项目，提供基于LLaMA和LLaMa-2架构的微调和融合模型。该项目使用LoRA和PEFT技术，实现高效的大语言模型微调。Platypus包含完整的训练流程，涵盖数据集精炼、模型微调和权重合并。在多项基准测试中，Platypus展现出优秀性能。这个项目为研究人员和开发者提供了优化定制语言模型的工具。

DoRA是一种新型大型语言模型微调方法，通过将预训练权重分解为幅度和方向两个部分进行更新。与LoRA相比，DoRA在保持参数效率的同时提升了模型的学习能力和训练稳定性。研究表明，DoRA在常识推理、视觉指令调优和图像/视频-文本理解等多项下游任务中表现优于LoRA。该技术已集成到Hugging Face PEFT和Diffusers库中，可用于多种模型的微调。

此项目展示了在Text-to-SQL数据集上微调LLaMa 2 7B模型的过程。利用LlamaIndex、Modal和Hugging Face datasets等工具，项目提供了从数据加载到模型微调和推理的完整教程。开发者可以学习如何针对结构化数据库执行自然语言查询，并通过提供的模型权重下载选项，快速构建Text-to-SQL应用。项目涵盖了整个开发流程，为Text-to-SQL应用的实现提供了实用的参考。

DoppelBot是一个Slack应用，通过抓取目标用户的消息并微调大型语言模型来模仿其回复风格。项目采用无服务器架构，包含微调、推理和抓取功能。安装后，可使用简单命令训练和召唤机器人，实现个性化AI互动。

LLMs-cookbook项目提供大型语言模型的实用示例和指南。项目更新了支持多轮对话的GPT-3.5 API WebUI，并包含GPT-3.5 API微调实战教程。内容涵盖从基础API调用到高级模型微调，为开发者提供全面的LLM技术学习资源。

LLaMA-Adapter是一种高效的大语言模型微调方法。通过在LLaMA模型中插入适配器,仅引入120万个可学习参数,1小时内即可将LLaMA转化为指令跟随模型。该方法提出零初始化注意力机制,稳定早期训练。LLaMA-Adapter支持多模态输入,拓展应用场景。与全量微调相比,在参数量和训练时间上具显著优势,同时保持相当性能。

本研究探讨了对齐大语言模型微调可能带来的安全风险。实验表明，即使无意识的微调也可能降低模型安全性。通过对GPT-3.5 Turbo和Llama-2的实验，研究揭示了三个风险等级的微调场景:使用有害、隐含有害和良性数据集。结果显示微调后模型在多个类别中呈现更高有害性,凸显了平衡模型能力和安全性的挑战。

MINI_LLM项目展示了完整的中文大语言模型训练流程，涵盖预训练、SFT指令微调和DPO优化阶段。该项目基于QWEN模型，利用多种数据集训练出1.4B参数规模的模型。项目详细介绍了数据处理方法、提供训练脚本，并包含多GPU训练指南，为中文大语言模型开发提供了实用参考。

medAlpaca是一个医疗问答大语言模型项目,基于Stanford Alpaca和AlpacaLoRA开发。该项目提供经过医学文本微调的开源语言模型,可用于开发医疗聊天机器人。medAlpaca使用多种医学数据进行训练,包括医学闪卡、维基和对话数据集。项目还提供详细的数据集描述、训练指南和基准测试结果,旨在推动医疗领域大语言模型的研究与应用。

Axolotl是一个功能丰富的AI模型微调工具，支持llama、pythia、falcon等多种Huggingface模型。它提供全微调、LoRA、QLoRA等训练方法，支持自定义配置和多种数据集格式。Axolotl集成了xformer、flash attention等技术，可在单GPU或多GPU环境运行，支持Docker部署，并可将结果记录到wandb或mlflow。该工具为AI模型训练提供了灵活高效的解决方案。

Stanford Alpaca项目提供了一个基于52K指令数据微调的7B LLaMA模型。该项目包含数据生成代码、模型微调代码和从权重差异恢复Alpaca-7B权重的代码。模型基于Self-Instruct技术生成的数据进行微调，仅限于研究用途。注意模型尚未经过安全性微调，使用时需谨慎。