OpenDelta

高效参数调整的开源工具包

OpenDelta 参数高效微调 delta tuning PyTorch transformers Github 开源项目

OpenDelta是一个高效的开源调优工具包，通过添加少量参数进行调整，可实现如前缀调优、适配器调优、Lora调优等多种方法。最新版本支持Python 3.8.13、PyTorch 1.12.1和transformers 4.22.2。

Github

文档

论文

介绍相关项目

opytimizer - 基于自然启发的Python优化库简化元启发式算法开发

GithubOpytimizerPython优化器元启发式优化开源项目搜索空间自然启发算法

Opytimizer是一个基于自然启发的Python优化库,实现了多种元启发式算法。它允许用户创建自定义优化器、设计优化任务并组合不同策略。该库专注于最小化问题,提供丰富示例和主流机器学习框架集成。Opytimizer可简化计算实验和参数调优,适合优化算法研究和应用开发。

direct-preference-optimization - DPO算法实现语言模型的偏好数据优化

DPOGithub偏好优化开源项目机器学习训练算法语言模型

DPO(Direct Preference Optimization)是一种语言模型训练算法,通过偏好数据优化模型。该项目提供DPO算法的参考实现,包含监督微调和基于偏好学习两个阶段。支持各种因果HuggingFace模型,可添加自定义数据集,并包括'conservative' DPO和IPO等变体。这为研究人员提供了灵活工具,用于从偏好数据训练语言模型。

MoRA - 大型语言模型的高效参数微调方法

GithubLoRAMoRA参数效率开源项目微调深度学习

MoRA是一种针对大型语言模型的参数高效微调技术，利用高阶低秩更新实现高效训练。该方法适用于数学推理、预训练等多种任务，并与LoRA等技术兼容。MoRA提供多种更新类型和目标模块配置，满足不同研究需求。项目包含实现指南和示例代码，便于快速应用。

tuning_playbook - 深度学习模型性能调优指南

Github优化器开源项目批量大小模型性能深度学习超参数调优

该项目提供深度学习模型调优的全面指南,涵盖项目启动、架构选择、优化器配置、批量大小设置等关键环节。它介绍了科学的性能提升方法,以及训练流程优化和实验追踪等实用技巧,旨在帮助提高深度学习模型的性能。

doremi - 创新算法提升语言模型训练效率

DoReMiGithub代理模型分布鲁棒优化开源项目数据混合优化语言模型

DoReMi是一种优化语言模型数据集混合的算法。它通过分布鲁棒优化调整数据混合，适应不同目标分布。算法训练小型代理模型动态调整各领域数据权重，并利用预训练参考模型避免对高熵领域过于悲观。DoReMi显著提高大型模型训练效率，如280M代理模型可使8B参数模型达到基线性能的速度提高2.6倍。项目提供PyTorch实现，包含快速可恢复的数据加载器和下游评估工具。

determined - 深度学习平台，支持分布式训练与超参数调优

DeterminedGithubPyTorchTensorFlow分布式训练开源项目深度学习平台

Determined平台兼容PyTorch和TensorFlow，提供分布式训练、超参数调优和资源管理，降低云端GPU成本并支持实验追踪分析和可复现性。通过Python库、命令行界面和Web用户界面，用户能够轻松构建和管理模型，支持本地和云端部署，包括AWS和GCP。丰富的文档和示例帮助快速上手，通过用户指南、社区支持和贡献者指南，确保完整平台功能的利用。

ChatGLM-Finetuning - ChatGLM系列模型的多方法微调工具

ChatGLMGithub大语言模型开源项目微调深度学习自然语言处理

ChatGLM-Finetuning为ChatGLM系列模型提供多种微调方法,包括Freeze、Lora、P-Tuning和全量参数训练。该项目支持信息抽取、文本生成和分类等任务,可进行单卡或多卡训练。通过DeepSpeed等优化技术,实现高效大模型微调,并有效缓解灾难性遗忘问题。项目支持最新的ChatGLM3模型,并提供详细的使用说明。

Determined AI - 开源深度学习平台助力模型训练和优化

AI工具GPU资源分布式训练模型训练深度学习超参数调优

Determined AI是一个开源深度学习训练平台，集成了超参数调优和分布式训练功能。该平台支持多种深度学习框架，可在云端或本地运行，提供资源管理、实验跟踪和结果可视化等功能。它能显著加快模型训练速度，提高模型精度，让研究人员更专注于模型开发而非基础设施管理，从而提升深度学习团队的整体效率。

lora - 使用低秩自适应技术进行快速稳定扩散模型微调

DreamboothGithubHuggingfaceLoRAPivotal TuningStable Diffusion开源项目

该项目使用低秩自适应技术进行快速稳定扩散模型微调，比dreambooth方法快两倍，支持inpainting，并且生成非常小的模型文件（1MB~6MB），便于共享和下载。兼容diffusers库，提供多向量核心调优反演功能，并实现更好的性能。项目集成了Huggingface Spaces，增加了LoRA合并、Resnet应用和转换脚本功能。通过仅微调模型的残差，该方法显著缩小模型大小，同时保持高保真度，适用于需要快速高效微调的用户。

opt-125m - 开放预训练变压器模型OPT的功能与限制

GithubHuggingfaceOPT大语言模型开源项目数据集模型生成文本预训练模型

OPT是一种开放预训练的变压器语言模型，支持从125M到175B参数的不同模型，旨在推动可再现的研究。模型通过因果语言建模进行自监督预训练，适用于文本生成和下游任务评估。需注意，由于训练数据多样性不足，OPT在偏见和安全性上存在限制。用户可通过Hugging Face平台使用这些模型进行文本生成，以更深入了解大语言模型的表现。

相关项目

推荐项目

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

稿定AI

稿定设计是一个多功能的在线设计和创意平台，提供广泛的设计工具和资源，以满足不同用户的需求。从专业的图形设计师到普通用户，无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑，稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合，帮助用户轻松实现创意设计。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com