#超参数优化
talos
Talos通过自动化超参数实验和模型评估，提升了TensorFlow (tf.keras) 和 Keras 的工作流程，无需学习新的语法或模板。用户可以在几分钟内配置和评估超参数实验，适用于各种预测任务。Talos支持 Linux、Mac OS 和 Windows 系统，并兼容 CPU、GPU 和多 GPU 系统，非常适合研究者和数据科学家使用。
keras-tuner
KerasTuner是一个便捷且可扩展的超参数优化工具，可以有效解决超参数搜索过程中遇到的问题。用户可以通过define-by-run语法轻松配置搜索空间，并使用贝叶斯优化、Hyperband和随机搜索算法找到模型的最佳参数值。该工具对研究人员十分友好，便于进行新搜索算法的实验。KerasTuner适用于Python 3.8+和TensorFlow 2.0+，并提供详细的开发者指南和API参考文档。
optuna
Optuna是一个面向机器学习的开源超参数优化框架。它采用define-by-run风格API，特点是轻量级、通用性强和平台无关。Optuna支持Python式搜索空间定义、高效优化算法、易于并行化和快速可视化。框架可处理多目标优化、约束优化和分布式优化等任务，适用于Python 3.7+版本，并集成多个第三方库。
RePlay
RePlay是一个覆盖推荐系统全生命周期的开发评估框架。它集成了数据预处理、模型构建、参数优化、性能评估和模型集成等功能。该框架支持CPU、GPU等多种硬件，并可与PySpark结合实现分布式计算。RePlay能帮助开发者顺利将推荐系统从离线实验转到在线生产环境，提升系统的可扩展性和适应性。
optuna-dashboard
optuna-dashboard是Optuna超参数优化框架的实时仪表盘工具，提供直观的图形界面用于监控和分析优化实验。它展示优化历史和超参数重要性等关键信息，支持多种安装方式如PyPI、Anaconda Cloud和Docker镜像。该工具还包括Jupyter Lab扩展和纯浏览器版本，适用于各种环境。optuna-dashboard能有效提升机器学习实验的监控和分析效率。
loraplus
LoRA+是一种创新的低秩适应技术，专注于提高大型模型的微调效率。该技术引入新的超参数优化训练过程，尤其适合处理复杂的下游任务。项目提供完整代码实现，兼容Hugging Face Trainer和自定义训练流程，并附带GLUE基准测试和图像分类示例。LoRA+在多种任务中表现出色，为研究人员和开发者提供了改进大型模型微调效果的有力工具。
deephyper
DeepHyper是一个专注于自动化机器学习任务的Python开源框架。它提供了超参数优化、神经网络架构搜索和深度集成不确定性量化等功能。支持单机和分布式环境,适用于多种场景。DeepHyper简化了机器学习工作流程,为研究人员和开发者提供了强大的工具。项目包含详细文档、快速入门指南和活跃的社区支持,方便用户快速上手和深入使用。
reservoirpy
ReservoirPy是一个实现高效储层计算架构的Python库，专注于回声状态网络(ESN)。它具备离线和在线训练、并行计算、稀疏矩阵运算等功能，支持构建复杂的多储层架构。该库提供图形化工具用于超参数探索，并包含多个教程和科学论文复现案例。适用于Python 3.8及以上版本，ReservoirPy为储层计算提供了简洁而强大的实现方案。
AgileRL
AgileRL是一个创新的深度强化学习库，专注于提升强化学习的开发效率。通过引入RLOps概念，该库显著缩短了模型训练和超参数优化的时间。AgileRL采用进化超参数优化技术，自动找到最优超参数，减少了大量训练运行。它支持多种先进的可进化算法，包括单智能体、多智能体、离线学习和上下文多臂赌博机，并具备分布式训练能力。相比传统方法，AgileRL在超参数优化速度上实现了10倍的提升。