schedule_free

自适应训练优化器，无需预设停止时间

Schedule-Free Learning 优化器 PyTorch 梯度下降动量 Github 开源项目

Schedule-Free Learning是一种新型PyTorch优化器，无需预设训练停止时间。该方法通过结合插值和平均技术取代传统动量，提高训练效率。不依赖学习率递减调度，却能达到或超越先进调度方法的效果。支持AdamW和SGD版本，并提供实验性包装器，可与各种基础优化器兼容。这种灵活的优化方法为深度学习模型训练提供了新的可能性。

Github

Huggingface

介绍相关项目

LLM-RLHF-Tuning - RLHF三阶段训练支持指令微调、奖励模型和多种训练方式

DPOGithubLLaMALLaMA2PPORLHF开源项目

本项目实现了RLHF的三阶段训练，包括指令微调、奖励模型训练和PPO算法训练。支持LLaMA和LLaMA2模型，并提供多种分布式加速训练方法。项目附有详细的实现文档，并对比了其他开源框架的功能，是RLHF训练的宝贵资源。

UnsupervisedScalableRepresentationLearningTimeSeries - 多变量时间序列的无监督可扩展表示学习方法

GithubPyTorchUCR数据集UEA数据集开源项目无监督学习时间序列表示学习

UnsupervisedScalableRepresentationLearningTimeSeries项目提出了一种无监督可扩展表示学习方法,专门用于处理多变量时间序列数据。该方法基于三元组损失训练编码器,能够处理等长或不等长时间序列。项目提供了UCR和UEA数据集实验代码,包括迁移学习和稀疏标记实验。此外,还包含预训练模型和结果可视化工具。在多个基准数据集上,该方法展现出优秀的性能,为时间序列分析领域提供了创新解决方案。

FLASH-pytorch - FLASH 线性时间内提升Transformer效能的开源实现

FLASHGithubPyTorchTransformer开源项目注意力机制深度学习

FLASH-pytorch是一个开源项目，实现了一种高效的Transformer变体。该项目采用门控注意力单元(GAU)和分组线性注意力，在线性时间内提升模型性能。它提供简洁API，支持自回归和非自回归模式，并整合多种位置编码技术。这一工具使研究人员和开发者能够便捷地探索和应用Transformer的最新优化技术。

Sophia - 高效的二阶随机优化算法

GithubSophia二阶优化优化器开源项目机器学习训练加速

Sophia是一种新型二阶随机优化算法，利用Hessian矩阵对角线的低成本随机估计和裁剪机制来优化模型训练。相比Adam算法，Sophia在预训练损失、计算量和训练时间方面表现更优，可将训练成本降低50%。此算法易于集成，无需特殊模型架构或基础设施，适用于各类机器学习项目。

perpetual - 自优化梯度提升机器学习算法

GithubPerpetualBooster开源项目梯度提升机自动机器学习过拟合预防预测性能

PerpetualBooster是一种创新的梯度提升机器算法，无需进行超参数优化。通过调整budget参数，该算法能够在单次运行中达到传统GBM算法100次迭代的精度。在多个数据集的测试中，PerpetualBooster展现出显著的性能优势，相较于LightGBM等算法，速度提升约100倍。该算法提供Python和Rust API接口，适用于回归和分类任务。这种高效的机器学习方法特别适用于需要快速建模和预测的场景，如金融分析、推荐系统和风险评估等领域。

simple-llm-finetuner - 在NVIDIA GPU上使用LoRA方法轻松微调语言模型

GithubGradioLoRANVIDIA GPUPEFTSimple LLM Finetuner开源项目

Simple LLM Finetuner项目提供了初学者友好的界面，利用LoRA方法和PEFT库在常见的NVIDIA GPU上微调语言模型。用户可以轻松管理数据集、定制参数，并评估模型推理能力。支持在UI中粘贴数据集，提供参数调整和详细说明。尽管项目已停止维护，建议使用替代工具如LLaMA-Factory、unsloth或text-generation-webui。

autotrain-advanced - 机器学习模型的训练与部署的无代码训练

AutoTrainColabGithubHugging Face开源项目机器学习部署

AutoTrain Advanced 是一款无代码解决方案，只需几次点击即可训练机器学习模型。需要上传正确格式的数据以创建项目，关于数据格式和定价的详细信息请查阅文档。AutoTrain 免费使用，只需为使用的资源付费。支持在 Colab 和 Hugging Face Spaces 上运行，也可以通过 PIP 本地安装。适用于 Python 3.10 及以上版本，推荐在 Conda 环境中运行。更多信息请访问项目文档页面。

solo-learn - 使用自监督学习进行无监督视觉表征的方法与技巧

GithubPyTorch Lightningsolo-learn开源项目无监督自监督学习视觉表示学习

solo-learn库基于PyTorch Lightning，提供多种自监督方法用于无监督视觉表征学习。该库包含全面的训练技巧和多种数据处理、评估方式，以提高训练效果和可重复性。其主要特点有快速的数据处理、自定义模型检查点、线上和线下的K-NN评估。库内包含灵活的数据增强、可视化功能，并不断更新方法和改进教程，使模型训练和调试更加高效简便。

relora - 使用ReLoRA实现高效深度学习模型训练

GithubPEFTPyTorchReLoRAflash attention开源项目训练

ReLoRA项目通过低秩更新实现高效深度学习训练，兼容Python 3.10+和PyTorch 2.0+，支持更大的微批次大小。用户可通过执行预处理和不同配置的训练脚本，达到高效分布式训练，并支持cosine重启调度和多GPU配置。项目涵盖了预热训练和ReLoRA重启，适用于各种规模的模型训练。

autonomous-learning-library - PyTorch深度强化学习库助力智能代理开发

GithubPyTorch开源项目智能体深度强化学习算法实现自主学习库

autonomous-learning-library是基于PyTorch的深度强化学习库,为快速构建和评估智能代理提供丰富组件。库中包含灵活的函数近似API、多种内存缓冲区和环境接口,并实现了A2C、DQN、PPO等主流算法。支持Atari、经典控制和机器人仿真等环境,集成Tensorboard等工具便于实验监控。该库特别强调模块化设计,便于研究人员快速实现和测试新想法。同时提供完整文档和示例项目,降低了强化学习研究的入门门槛。

相关项目

项目侧边栏1

项目侧边栏2

推荐项目

Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

稿定AI

稿定设计是一个多功能的在线设计和创意平台，提供广泛的设计工具和资源，以满足不同用户的需求。从专业的图形设计师到普通用户，无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑，稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合，帮助用户轻松实现创意设计。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com

@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号