#LoRA

LoRA - 大型语言模型的低秩适配方法与参数节省
LoRAGLUERoBERTaDeBERTaGPT-2Github开源项目
LoRA通过低秩分解矩阵实现大型语言模型的低秩适配,减少了训练参数数量,实现高效的任务切换和存储节省。它在GLUE基准测试中的表现与完全微调相当或更好,同时显著降低了参数需求。LoRA支持RoBERTa、DeBERTa和GPT-2等模型,并已集成到Hugging Face的PEFT库中,提供了便捷的适配解决方案。
simple-llm-finetuner - 在NVIDIA GPU上使用LoRA方法轻松微调语言模型
Simple LLM FinetunerLoRAPEFTNVIDIA GPUGradioGithub开源项目
Simple LLM Finetuner项目提供了初学者友好的界面,利用LoRA方法和PEFT库在常见的NVIDIA GPU上微调语言模型。用户可以轻松管理数据集、定制参数,并评估模型推理能力。支持在UI中粘贴数据集,提供参数调整和详细说明。尽管项目已停止维护,建议使用替代工具如LLaMA-Factory、unsloth或text-generation-webui。
peft - 大模型高效微调的先进方法
PEFTTransformersDiffusersLoRAAccelerateGithub开源项目
参数高效微调(PEFT)通过只调整少量额外参数来适配大规模预训练模型,大幅降低计算和存储成本,同时性能接近完全微调模型。PEFT与Transformers、Diffusers和Accelerate集成,支持多种下游任务的训练和推理。了解更多方法和优势,请访问官方文档和教程。
xTuring - 开源LLM微调平台
xTuringLLMLLaMALoRAINT4Github开源项目
xTuring是一款高效、简单的开源LLM微调平台,支持Mistral、LLaMA、GPT-J等多种模型。用户可通过直观界面在本地或私有云中微调模型,保障数据隐私。平台支持数据预处理、多GPU扩展、以及INT4和LoRA等内存高效的微调方法,并提供多种模型评估工具。最新功能涵盖LLaMA 2集成、CPU推理优化和批量处理。
LLM-Finetuning - 大型语言模型高效微调指南
PEFTLoRAHugging Face大型语言模型微调Github开源项目
了解如何使用LoRA和Hugging Face Transformers库高效微调大型语言模型。项目提供详细的教程笔记本,包括在Colab中微调Llama 2、GPT-Neo-X-20B、MPT-Instruct-30B等模型的指导和代码示例。无论新手或专家,均可找到实用资源,提升语言模型性能。欢迎贡献和提交问题,共同完善此开源项目。
punica - 在单个预训练模型上高效运行多LoRA微调模型,文本生成吞吐量提升至12倍
PunicaLoRA模型微调高效计算多租户服务Github开源项目
Punica采用分段聚集矩阵-向量乘法(SGMV)技术,使多个LoRA微调模型在单个预训练模型上高效运行,仅增加1%的存储和内存开销。相比其他系统,Punica在各种LoRA模型请求下的文本生成吞吐量提升至12倍,适用于不同版本的CUDA和Python,支持二进制包和源码构建。
Stable-Diffusion - 关于稳定扩散和SDXL的专家级教程
Stable DiffusionAutomatic1111 Web UIDreamBooth教程视频LoRAGithub开源项目
探索Dr. Furkan Gözükara领导的Stable Diffusion项目。通过全面的高级教程视频,涵盖自动化Web UI安装至模型训练,与我们一起从基础到专家,深入理解并运用Stable Diffusion技术。包含Google Colab和Automatic1111 Web UI的实操演示,适合所有技术爱好者。
LongLoRA - 探索大规模长上下文语言模型的高效训练与实用应用
LongAlpaca长上下文语言模型LLaMA2LoRA深度学习Github开源项目
LongLoRA项目开发了一种高效微调方法,处理大型长上下文语言模型,涵盖了从7B至70B的各种模型规模和LongAlpaca-12k实验性数据集。项目支持多种微调方式,在基凊测试中验证了模型性能,技术可应用于多种NLP任务,助力复杂语言处理。实现显著性能优势,为企业和研究人员在从机器翻译到自动摘要等NLP任务中提供了有效的解决方案。
ChatGenTitle - 使用LoRA微调技术的开源论文标题生成工具
ChatGenTitleLLaMa模型论文生成arXivLoRAGithub开源项目
ChatGenTitle是一个使用LoRA微调技术基于百万arXiv论文数据微调LLaMA模型的开源论文标题生成工具。提供有效支持以便科研人员高效生成论文标题,所有代码和模型权重开源供本地部署使用。
unit-minions - 自主训练LoRA以提升代码与文档生成效率
AI研发提效LoRA代码生成用户故事生成测试代码生成Github开源项目
了解'unit-minions'如何利用LoRA模型进行自主训练,以显著提升软件开发周期中的AI辅助效能。项目内容包括完整的训练教程、操作视频以及代码实战演示,详细呈现从需求分析到代码生成的自动化全过程。通过LLaMA和ChatGLM LoRA模型,有效支持代码辅助、测试和需求详细化,旨在提供科学的工具优化工程师的工作流程,提升开发效率。
dora-from-scratch - LoRA和DoRA技术的从头实现
LoRADoRA实现补充资料文章Github开源项目
该项目提供了LoRA和DoRA技术的从头实现资料,作为相关文章的补充。内容涵盖关键技术细节和应用案例,帮助更好地理解和应用这些技术。
LLMtuner - 使用 LoRA、QLoRA 等最佳实践对 Llama、Whisper 和其他 LLM 进行微调
LLMTunerLLM微调LoRAWhisperLlamaGithub开源项目
LLMTuner 提供类 scikit-learn 接口,让用户便捷微调如 Llama、Whisper 等大型语言模型。通过 LoRA 和 QLoRA 等技术实现高效微调,内置推理功能和一键启动的交互式 UI,简化模型展示和共享。此外,LLMTuner 还支持未来在 AWS 和 GCP 等平台上的部署。欢迎加入 PromptsLab 社区,探索和讨论最新的开源模型调优技术。
Vicuna-LoRA-RLHF-PyTorch - Vicuna模型LoRA与RLHF的完整优化流程
Vicuna-LoRA-RLHF-PyTorchVicunaLoRARLHFPyTorchGithub开源项目
本文详述如何在普通硬件上优化Vicuna语言模型,包括环境配置、监督微调、合并PEFT适配器、训练奖励模型和PPO微调等步骤,适合中文技术人员使用。
llama-trl - 使用 PPO 和 LoRA 微调 LLaMA
LLaMA-TRLPPOLoRASupervised Fine-tuningReward Model TrainingGithub开源项目
本项目LLaMA-TRL通过PPO和LoRA技术进行大规模语言模型的微调,采用TRL(变压器强化学习)和PEFT(参数高效微调)方法。本文详细介绍了从安装依赖到具体实现的步骤,包括监督微调、奖励模型训练和PPO微调,助力开发者显著提升模型性能和任务适应能力。
Real-Time-Latent-Consistency-Model - 实时潜在一致性模型,支持多种图像转换管道
Latent Consistency ModelDiffusersControlNetLoRACUDAGithub开源项目
此项目展示了使用Diffusers进行图像转换的实时潜在一致性模型(LCM),支持img2img、txt2img、ControlNet等多种管道。需要CUDA和Python 3.10等环境支持,提供详细的安装指南和使用示例。LCM + LoRAs可以在极少步骤内完成推理,加快处理速度。项目支持Docker部署,并提供不同平台的实时演示链接。
sd-webui-text2video - 基于Auto1111的多样化text2video模型实现
StableDiffusion WebUIModelScopeVideoCrafterLoRAText2videoGithub开源项目
基于Auto1111的webui依赖,该扩展实现了ModelScope和VideoCrafter等text2video模型,无需登录即可使用。要求至少6GB的VRAM,支持不同帧数和分辨率的视频生成。项目包含多次更新,新增功能如VAE设置、提示权重和WebAPI,并支持LoRA训练。提供详细的模型下载指南,并欢迎社区的贡献与支持。
LyCORIS - 用于稳定扩散的其他秩适应实现
LyCORISStable Diffusionfine-tuningLoRAAI模型Github开源项目
LyCORIS项目提供了一系列针对Stable Diffusion的高效参数调优算法,包括LoRA、LoHa、LoKr和DyLoRA等。项目支持多种接口(如ComfyUI和InvokeAI)和训练方案(如kohya-ss和Naifu-Diffusion),并能与PyTorch模块无缝整合。通过不同算法的比较,LyCORIS在保真度、灵活性和训练速度上表现出色。用户可以通过简便的pip安装,探索多样的网络配置和训练方式,实现图像生成的定制化。
Text-To-Video-Finetuning - 使用Diffusers微调ModelScope的文本生成视频模型,提供安装、配置和训练指南
Text-To-VideoDiffusion ModelsLoRAExponentialMLModelScopeGithub开源项目
Text-To-Video-Finetuning项目使用Diffusers微调ModelScope的文本生成视频模型,提供详尽的安装、配置和训练指南。主要更新包括LoRA训练、模型格式转换和Torch 2.0支持。项目现已归档,相关资源及支持文件仍可用。建议关注@damo-vilab的新实现,以体验全面的视频扩散微调功能。支持多种模型训练与推断,适用于VRAM限制设备,模块化设计方便定制与扩展。
lora - 使用低秩自适应技术进行快速稳定扩散模型微调
LoRAStable DiffusionDreamboothHuggingfacePivotal TuningGithub开源项目
该项目使用低秩自适应技术进行快速稳定扩散模型微调,比dreambooth方法快两倍,支持inpainting,并且生成非常小的模型文件(1MB~6MB),便于共享和下载。兼容diffusers库,提供多向量核心调优反演功能,并实现更好的性能。项目集成了Huggingface Spaces,增加了LoRA合并、Resnet应用和转换脚本功能。通过仅微调模型的残差,该方法显著缩小模型大小,同时保持高保真度,适用于需要快速高效微调的用户。
LLM-Adapters - LLM模型参数微调适配器集成框架
LLM-AdaptersHuggingFaceLoRAGPT-JPEFTGithub开源项目
LLM-Adapters 是一个集成了多种适配器的框架,用于实现大语言模型的参数高效微调。支持 LLaMa、OPT、BLOOM 和 GPT-J 等开源大语言模型,以及 Bottleneck、Parallel 和 LoRA 等适配器。这个框架为研究人员和开发者提供了强大的工具,可应用于各种任务的适配器方法。最新更新包括 commonsense170k 数据集,LLaMA-13B-Parallel 模型在多个常识基准测试中表现优异,超越了 ChatGPT。
x-flux - Flux模型的LoRA和ControlNet微调脚本
FluxLoRAControlNetDeepSpeedAI绘图Github开源项目
该项目为Flux图像生成模型提供LoRA和ControlNet微调脚本。使用DeepSpeed实现高效训练,并提供预训练检查点。包含详细的训练和推理指南,以及低内存模式和加速配置示例。项目计划未来发布更多ControlNet权重模型和IP-Adapters。
sd-scripts - Stable Diffusion模型训练与生成的综合脚本工具库
Stable Diffusion机器学习图像生成模型训练LoRAGithub开源项目
sd-scripts是一个专为Stable Diffusion模型开发的脚本库,集成了多种训练方法如DreamBooth、微调、LoRA和Textual Inversion。此外,它还提供了图像生成和模型转换功能。该项目包含训练脚本、数据准备工具和配置选项,有助于优化AI艺术创作流程。
mistral-finetune - 基于LoRA技术的Mistral模型高效微调框架
Mistral-finetuneLoRA微调模型训练GPUGithub开源项目
mistral-finetune是一个基于LoRA技术的轻量级框架,通过仅训练1-2%的额外权重来实现Mistral模型的高效微调。该框架支持多GPU单节点训练,适合A100或H100 GPU使用。它提供简化的数据格式要求和验证工具,支持指令跟随和函数调用等多种训练模式,适用于各类微调需求。
HCP-Diffusion - Stable Diffusion模型训练与优化工具集
HCP-DiffusionStable Diffusion文本到图像生成LoRADreamArtist++Github开源项目
HCP-Diffusion是基于Diffusers库开发的Stable Diffusion模型工具集。它整合了多种文本到图像生成的训练方法,包括Prompt-tuning和Textual Inversion等。该工具集引入了DreamArtist++技术,支持一次性文本到图像生成。HCP-Diffusion提供层级LoRA、模型集成和自定义优化器等功能,为AI研究和开发提供全面的模型训练与推理支持。
B-LoRA - 图像风格内容分离的创新技术
B-LoRA图像风格化Stable Diffusion XL风格内容分离LoRAGithub开源项目
B-LoRA是一种创新的图像处理技术,结合Stable Diffusion XL和Low-Rank Adaptation,实现单一输入图像的风格与内容隐式分离。这种方法支持图像风格迁移、文本引导的图像风格化和一致性风格生成等多样化应用。B-LoRA为图像编辑和创意设计领域提供了新的可能性,能够有效地处理和转换图像的视觉元素。
lora-scripts - Stable Diffusion模型训练全能工具包
SD-TrainerLoRAStable Diffusion训练工具WebUIGithub开源项目
SD-Trainer为Stable Diffusion模型训练提供了全面解决方案。这个开源项目整合了图形界面、一键式环境配置和多种训练脚本,支持LoRA和Dreambooth等技术。通过WebUI,用户可以轻松管理训练流程,使用Tensorboard跟踪进度,并借助标签编辑器优化数据集。SD-Trainer简化了模型训练过程,让创作者和开发者能够更高效地定制Stable Diffusion模型。
kohya_ss - Stable Diffusion模型训练图形界面工具
Kohya's GUIStable Diffusion训练参数LoRACUDAGithub开源项目
kohya_ss是一个开源的Stable Diffusion模型训练工具,提供图形用户界面。用户可以通过界面设置训练参数,生成所需的命令行指令。支持多个操作系统,具备LoRA训练和样本图像生成等功能。该工具简化了Stable Diffusion模型的自定义训练流程,有助于AI图像生成。
llm-finetuning - Modal和axolotl驱动的大语言模型高效微调框架
LLM微调ModalaxolotlDeepSpeedLoRAGithub开源项目
这个开源项目整合了Modal和axolotl,为大语言模型微调提供了一个高效框架。它采用Deepspeed ZeRO、LoRA适配器和Flash Attention等先进技术,实现了高性能的模型训练。该框架支持云端部署,简化了资源管理流程,并可灵活适配不同模型和数据集。项目还提供了全面的配置说明和使用指南,方便开发者快速上手和定制化应用。
ai-toolkit - AI模型训练与优化的多功能工具集
AI ToolkitLoRAFLUX.1模型训练图像生成Github开源项目
AI-toolkit是一款功能丰富的AI模型工具集,包含FLUX.1训练、LoRA提取和模型合并等功能。它还支持批量图像生成、LoRA权重调整和滑块训练等高级特性,并提供扩展系统供用户自定义功能。这个工具集主要适用于24GB及以上显存的GPU,为AI模型开发者和研究人员提供灵活高效的解决方案。
MoRA - 大型语言模型的高效参数微调方法
MoRA微调参数效率LoRA深度学习Github开源项目
MoRA是一种针对大型语言模型的参数高效微调技术,利用高阶低秩更新实现高效训练。该方法适用于数学推理、预训练等多种任务,并与LoRA等技术兼容。MoRA提供多种更新类型和目标模块配置,满足不同研究需求。项目包含实现指南和示例代码,便于快速应用。
ComfyUI-TCD - 高效精细的AI图像生成采样器
ComfyUITCDAI绘图图像生成LoRAGithub开源项目
ComfyUI-TCD是ComfyUI的自定义节点,实现了TCD论文中提出的高效图像生成采样器。它不仅能以较少采样步骤生成清晰细节,还支持通过参数调整控制图像细节丰富度。项目包含示例工作流程和兼容LoRA模型,有助于快速掌握并获得高质量图像生成结果。
Chinese-Vicuna - 中文LLaMA模型的低资源指令微调方案
Chinese-VicunaLLaMALoRAAI模型自然语言处理Github开源项目
Chinese-Vicuna项目旨在低资源环境下训练中文LLaMA模型。该方案可在单个RTX-2080TI上进行指令微调,在RTX-3090上实现长上下文多轮对话。具有参数效率高、显卡友好和易部署等特点,支持7B和13B模型微调及垂直领域应用。项目提供完整的训练、推理和部署代码,以及多种优化工具。
sliders - 扩散模型的精确控制工具
Concept SlidersLoRAAI绘图扩散模型图像编辑Github开源项目
Concept Sliders是一个开源项目,为扩散模型提供精确控制的LoRA适配器。通过滑块界面,用户可以微调生成图像的属性,如年龄和表情。项目支持多个Stable Diffusion版本(v1.4、v2.1和XL),提供文本和图像概念滑块的训练脚本,以及实时演示和真实图像编辑功能。Concept Sliders为AI图像生成带来了新的精确控制方法,GitHub上可查看完整项目详情。
LoftQ - 大型语言模型低资源量化微调新方法
LoftQ量化大语言模型微调LoRAGithub开源项目
LoftQ是一种为大型语言模型设计的量化微调方法。它通过寻找最佳的量化LoRA初始化,实现有限GPU资源下的高效模型微调。LoftQ支持LLAMA、Falcon、Mistral等主流模型,提供相关工具和示例代码。在WikiText-2和GSM8K等任务上,LoftQ展现出优秀性能,为低资源环境中的LLM应用开发创造了新可能。
Playground - 多功能文本生成WebUI扩展
Playground文本WebUI扩展多笔记本LoRAPEFTGithub开源项目
该扩展集成了多项实用功能,包括多笔记本管理、快速指令语法和文本插入生成。此外,它还提供永久记忆、LoRA模型操作和令牌视图等高级特性,旨在优化文本生成和编辑流程,为创作者营造高效的工作环境。
DreamLook.ai - 快速训练和优化Stable Diffusion模型的AI服务平台
AI工具Stable DiffusionAI绘图模型训练图像生成LoRA
DreamLook.ai是一个专业的AI图像生成平台,提供Stable Diffusion模型的快速fine-tuning服务。平台可在数分钟内完成模型训练,速度是传统方法的2.5倍,每日可处理数千次训练。支持SD1.5和SDXL模型的全模型fine-tuning。平台提供强大的API接口,解决GPU资源问题。此外,还有多种价格套餐可选,适应不同需求。