#LoRA
Stable Diffusion 学习资料汇总 - 开源文本到图像生成AI模型
PEFT学习资料汇总 - 参数高效微调入门指南
Simple LLM Finetuner入门指南 - 基于LoRA方法的语言模型微调工具
simple-llm-finetuner
Simple LLM Finetuner项目提供了初学者友好的界面，利用LoRA方法和PEFT库在常见的NVIDIA GPU上微调语言模型。用户可以轻松管理数据集、定制参数，并评估模型推理能力。支持在UI中粘贴数据集，提供参数调整和详细说明。尽管项目已停止维护，建议使用替代工具如LLaMA-Factory、unsloth或text-generation-webui。
peft
参数高效微调（PEFT）通过只调整少量额外参数来适配大规模预训练模型，大幅降低计算和存储成本，同时性能接近完全微调模型。PEFT与Transformers、Diffusers和Accelerate集成，支持多种下游任务的训练和推理。了解更多方法和优势，请访问官方文档和教程。
xTuring
xTuring是一款高效、简单的开源LLM微调平台，支持Mistral、LLaMA、GPT-J等多种模型。用户可通过直观界面在本地或私有云中微调模型，保障数据隐私。平台支持数据预处理、多GPU扩展、以及INT4和LoRA等内存高效的微调方法，并提供多种模型评估工具。最新功能涵盖LLaMA 2集成、CPU推理优化和批量处理。
LLM-Finetuning
了解如何使用LoRA和Hugging Face Transformers库高效微调大型语言模型。项目提供详细的教程笔记本，包括在Colab中微调Llama 2、GPT-Neo-X-20B、MPT-Instruct-30B等模型的指导和代码示例。无论新手或专家，均可找到实用资源，提升语言模型性能。欢迎贡献和提交问题，共同完善此开源项目。
punica
Punica采用分段聚集矩阵-向量乘法（SGMV）技术，使多个LoRA微调模型在单个预训练模型上高效运行，仅增加1%的存储和内存开销。相比其他系统，Punica在各种LoRA模型请求下的文本生成吞吐量提升至12倍，适用于不同版本的CUDA和Python，支持二进制包和源码构建。
Stable-Diffusion
探索Dr. Furkan Gözükara领导的Stable Diffusion项目。通过全面的高级教程视频，涵盖自动化Web UI安装至模型训练，与我们一起从基础到专家，深入理解并运用Stable Diffusion技术。包含Google Colab和Automatic1111 Web UI的实操演示，适合所有技术爱好者。
LongLoRA
LongLoRA项目开发了一种高效微调方法，处理大型长上下文语言模型，涵盖了从7B至70B的各种模型规模和LongAlpaca-12k实验性数据集。项目支持多种微调方式，在基凊测试中验证了模型性能，技术可应用于多种NLP任务，助力复杂语言处理。实现显著性能优势，为企业和研究人员在从机器翻译到自动摘要等NLP任务中提供了有效的解决方案。
ChatGenTitle
ChatGenTitle是一个使用LoRA微调技术基于百万arXiv论文数据微调LLaMA模型的开源论文标题生成工具。提供有效支持以便科研人员高效生成论文标题，所有代码和模型权重开源供本地部署使用。
LoRA
LoRA通过低秩分解矩阵实现大型语言模型的低秩适配，减少了训练参数数量，实现高效的任务切换和存储节省。它在GLUE基准测试中的表现与完全微调相当或更好，同时显著降低了参数需求。LoRA支持RoBERTa、DeBERTa和GPT-2等模型，并已集成到Hugging Face的PEFT库中，提供了便捷的适配解决方案。