OpenDelta

高效参数调整的开源工具包

OpenDelta 参数高效微调 delta tuning PyTorch transformers Github 开源项目

OpenDelta是一个高效的开源调优工具包，通过添加少量参数进行调整，可实现如前缀调优、适配器调优、Lora调优等多种方法。最新版本支持Python 3.8.13、PyTorch 1.12.1和transformers 4.22.2。

Github

文档

论文

介绍相关项目

prompt-tuning - 简介提示微调技术的参数优化及其实践方法

FlaxGithubJaxPrompt TuningT5X开源项目模型配置

本指南客观介绍了基于T5X、Flaxformer和JAX的提示微调技术，涵盖完整流程，包括安装、训练和推理，并详细说明在TPU和TPU Pod上执行大规模模型微调的方法。提供了配置文件管理和提示参数初始化的详细步骤，适用于研究人员和开发者优化模型性能。

axolotl - 多功能AI模型微调工具

AI模型AxolotlGithub开源项目微调训练配置

Axolotl是一个功能丰富的AI模型微调工具，支持llama、pythia、falcon等多种Huggingface模型。它提供全微调、LoRA、QLoRA等训练方法，支持自定义配置和多种数据集格式。Axolotl集成了xformer、flash attention等技术，可在单GPU或多GPU环境运行，支持Docker部署，并可将结果记录到wandb或mlflow。该工具为AI模型训练提供了灵活高效的解决方案。

LLamaTuner - 大语言模型微调工具，支持几乎所有GPU

GithubLLamaTunerSupervised fine-tuning dataset大语言模型开源项目数据预处理模型训练

LLamaTuner是一款高效、灵活且功能全面的大语言模型微调工具。支持在几乎所有GPU上进行大语言模型的预训练和微调，包括单个8GB GPU上微调7B LLM和超过70B模型的多节点微调。自动调度高性能算子如FlashAttention和Triton内核，兼容DeepSpeed以提升训练吞吐量。支持多种LLM和VLM，以及QLoRA和LoRA等多种训练算法，提供连续预训练、指令微调和代理微调等功能，还能与大型模型进行对话。

deita - 自动数据选择工具助力大语言模型指令调优

DeitaGithub开源项目指令调优数据选择语言模型

Deita是一个开源项目，为大型语言模型的指令调优提供自动数据选择工具。项目包含开源工具包、高质量轻量级数据集和高效训练模型。Deita模型使用仅十分之一的指令调优数据，就能达到其他先进聊天模型的性能水平。项目提供全面评估结果，展示了在多项基准测试中的表现。

loraplus - 提升大型模型微调效率的创新技术

GithubICML 2024LoRA+低秩适应开源项目模型微调超参数优化

LoRA+是一种创新的低秩适应技术，专注于提高大型模型的微调效率。该技术引入新的超参数优化训练过程，尤其适合处理复杂的下游任务。项目提供完整代码实现，兼容Hugging Face Trainer和自定义训练流程，并附带GLUE基准测试和图像分类示例。LoRA+在多种任务中表现出色，为研究人员和开发者提供了改进大型模型微调效果的有力工具。

opt-30b - Meta AI开发的开源预训练语言模型GPT-3替代方案

GithubHuggingfaceOPT人工智能开源项目机器学习模型自然语言处理语言模型

OPT是Meta AI推出的Transformer语言模型系列，最大规模达175B参数。模型基于800GB数据训练，包含BookCorpus、CC-Stories等多个数据集，支持文本生成和下游任务微调。其开源性质使研究人员能够深入研究大规模语言模型的性能表现、伦理影响及安全性问题。

Phi-3-mini-4k-instruct-bnb-4bit - 通过Unsloth工具提升深度学习模型微调速度与内存效率

GithubGoogle ColabHuggingfaceUnslothtransformers开源项目机器学习模型模型微调

项目通过提供免费、易于使用的Google Colab笔记本，便于在微调Phi-3.5、Llama 3.1、Mistral等深度学习模型时实现更高效的速度与内存管理，内存使用减少达74%。用户只需添加数据集并执行所有代码，便可获得加速至最高3.9倍的微调模型，支持导出多种格式或上传至Hugging Face平台。Colab快捷方式有效简化模型微调过程，适用于文本生成和对话模板。

hyperopt - Python库Hyperopt助力机器学习超参数优化

GithubHyperoptPython库分布式计算开源项目机器学习超参数优化

Hyperopt是一个强大的Python库，专门用于复杂搜索空间中的超参数优化。它支持实值、离散和条件维度，提供随机搜索、TPE等多种算法。通过Apache Spark和MongoDB实现并行化，Hyperopt能够显著提高机器学习模型的调优效率。作为开源项目，它为机器学习领域提供了高效的超参数优化解决方案，正在被广泛应用于加速模型开发和性能优化。

SimpleTuner - AI模型训练优化脚本集 SimpleTuner

AI模型GithubSimpleTuner开源项目机器学习深度学习训练优化

SimpleTuner是一个开源的AI模型训练优化脚本集。它以简单易用为设计理念，支持多GPU训练、方面比例分桶等功能。适用于Flux、PixArt Sigma和Stable Diffusion等多种AI模型的训练。项目提供详细教程和快速入门指南，适合各级用户。作为开源平台，SimpleTuner鼓励学术交流和代码贡献。

offsite-tuning - 隐私保护的高效模型微调框架

GithubOffsite-Tuning基础模型开源项目效率提升迁移学习隐私保护

Offsite-Tuning是一种迁移学习框架，允许在不完全访问原始模型的情况下对大型基础模型进行微调。该方法使用轻量级适配器和压缩仿真器，保护模型所有者和数据所有者的隐私，同时提高计算效率。与传统全模型微调相比，Offsite-Tuning保持相当准确性，同时实现6.5倍速度提升和5.6倍内存减少，适用于大规模语言和视觉模型。

相关项目

推荐项目

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

稿定AI

稿定设计是一个多功能的在线设计和创意平台，提供广泛的设计工具和资源，以满足不同用户的需求。从专业的图形设计师到普通用户，无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑，稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合，帮助用户轻松实现创意设计。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com