schedule_free

自适应训练优化器，无需预设停止时间

Schedule-Free Learning 优化器 PyTorch 梯度下降动量 Github 开源项目

Schedule-Free Learning是一种新型PyTorch优化器，无需预设训练停止时间。该方法通过结合插值和平均技术取代传统动量，提高训练效率。不依赖学习率递减调度，却能达到或超越先进调度方法的效果。支持AdamW和SGD版本，并提供实验性包装器，可与各种基础优化器兼容。这种灵活的优化方法为深度学习模型训练提供了新的可能性。

Github

Huggingface

介绍相关项目

LLM-RLHF-Tuning - RLHF三阶段训练支持指令微调、奖励模型和多种训练方式

DPOGithubLLaMALLaMA2PPORLHF开源项目

本项目实现了RLHF的三阶段训练，包括指令微调、奖励模型训练和PPO算法训练。支持LLaMA和LLaMA2模型，并提供多种分布式加速训练方法。项目附有详细的实现文档，并对比了其他开源框架的功能，是RLHF训练的宝贵资源。

FLASH-pytorch - FLASH 线性时间内提升Transformer效能的开源实现

FLASHGithubPyTorchTransformer开源项目注意力机制深度学习

FLASH-pytorch是一个开源项目，实现了一种高效的Transformer变体。该项目采用门控注意力单元(GAU)和分组线性注意力，在线性时间内提升模型性能。它提供简洁API，支持自回归和非自回归模式，并整合多种位置编码技术。这一工具使研究人员和开发者能够便捷地探索和应用Transformer的最新优化技术。

Sophia - 高效的二阶随机优化算法

GithubSophia二阶优化优化器开源项目机器学习训练加速

Sophia是一种新型二阶随机优化算法，利用Hessian矩阵对角线的低成本随机估计和裁剪机制来优化模型训练。相比Adam算法，Sophia在预训练损失、计算量和训练时间方面表现更优，可将训练成本降低50%。此算法易于集成，无需特殊模型架构或基础设施，适用于各类机器学习项目。

perpetual - 自优化梯度提升机器学习算法

GithubPerpetualBooster开源项目梯度提升机自动机器学习过拟合预防预测性能

PerpetualBooster是一种创新的梯度提升机器算法，无需进行超参数优化。通过调整budget参数，该算法能够在单次运行中达到传统GBM算法100次迭代的精度。在多个数据集的测试中，PerpetualBooster展现出显著的性能优势，相较于LightGBM等算法，速度提升约100倍。该算法提供Python和Rust API接口，适用于回归和分类任务。这种高效的机器学习方法特别适用于需要快速建模和预测的场景，如金融分析、推荐系统和风险评估等领域。

simple-llm-finetuner - 在NVIDIA GPU上使用LoRA方法轻松微调语言模型

GithubGradioLoRANVIDIA GPUPEFTSimple LLM Finetuner开源项目

Simple LLM Finetuner项目提供了初学者友好的界面，利用LoRA方法和PEFT库在常见的NVIDIA GPU上微调语言模型。用户可以轻松管理数据集、定制参数，并评估模型推理能力。支持在UI中粘贴数据集，提供参数调整和详细说明。尽管项目已停止维护，建议使用替代工具如LLaMA-Factory、unsloth或text-generation-webui。

autotrain-advanced - 机器学习模型的训练与部署的无代码训练

AutoTrainColabGithubHugging Face开源项目机器学习部署

AutoTrain Advanced 是一款无代码解决方案，只需几次点击即可训练机器学习模型。需要上传正确格式的数据以创建项目，关于数据格式和定价的详细信息请查阅文档。AutoTrain 免费使用，只需为使用的资源付费。支持在 Colab 和 Hugging Face Spaces 上运行，也可以通过 PIP 本地安装。适用于 Python 3.10 及以上版本，推荐在 Conda 环境中运行。更多信息请访问项目文档页面。

relora - 使用ReLoRA实现高效深度学习模型训练

GithubPEFTPyTorchReLoRAflash attention开源项目训练

ReLoRA项目通过低秩更新实现高效深度学习训练，兼容Python 3.10+和PyTorch 2.0+，支持更大的微批次大小。用户可通过执行预处理和不同配置的训练脚本，达到高效分布式训练，并支持cosine重启调度和多GPU配置。项目涵盖了预热训练和ReLoRA重启，适用于各种规模的模型训练。

solo-learn - 使用自监督学习进行无监督视觉表征的方法与技巧

GithubPyTorch Lightningsolo-learn开源项目无监督自监督学习视觉表示学习

solo-learn库基于PyTorch Lightning，提供多种自监督方法用于无监督视觉表征学习。该库包含全面的训练技巧和多种数据处理、评估方式，以提高训练效果和可重复性。其主要特点有快速的数据处理、自定义模型检查点、线上和线下的K-NN评估。库内包含灵活的数据增强、可视化功能，并不断更新方法和改进教程，使模型训练和调试更加高效简便。

avalanche - 基于 PyTorch 的持续学习开源库

AvalancheContinual LearningGithubPytorch开源开源项目机器学习

Avalanche 是基于 PyTorch 的持续学习开源库，提供快速原型设计、训练和评估工具。其模块包括数据处理、模型训练、评估和日志记录，帮助研究人员提高代码效率和研究影响力。简单示例和教程使用户快速上手，社区支持持续改进库功能。

autonomous-learning-library - PyTorch深度强化学习库助力智能代理开发

GithubPyTorch开源项目智能体深度强化学习算法实现自主学习库

autonomous-learning-library是基于PyTorch的深度强化学习库,为快速构建和评估智能代理提供丰富组件。库中包含灵活的函数近似API、多种内存缓冲区和环境接口,并实现了A2C、DQN、PPO等主流算法。支持Atari、经典控制和机器人仿真等环境,集成Tensorboard等工具便于实验监控。该库特别强调模块化设计,便于研究人员快速实现和测试新想法。同时提供完整文档和示例项目,降低了强化学习研究的入门门槛。

相关项目

项目侧边栏1

项目侧边栏2

推荐项目

Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能，包括文生视频、动态画面和形象生成等，帮助用户快速上手，创造专业级内容。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台，用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品，帮助用户探索创意灵感。

Project Cover

讯飞文书

讯飞文书依托讯飞星火大模型，为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能，满足事务性工作的高频需求，帮助撰稿人节省精力，提高效率，优化工作与生活。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com

@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号