#优化器
optimizer
ONNX提供了一个C++库，通过预包装的优化通道对ONNX模型进行优化。主要目标是促进各ONNX后端实现共享工作，并支持多种直接在ONNX图上实现的优化。用户可以通过简单的函数调用使用这些通道，或添加新的优化通道。安装方式包括通过PyPI或从源代码构建。
dl-for-emo-tts
项目通过深度学习实现情感语音合成，包括Tacotron和DCTTS模型的应用。详细介绍了使用的数据集、相关文献和多种模型微调策略，如调整学习率和冻结网络层。尽管面临情感数据集有限的问题，但实验验证了改进方案对低资源情感TTS传递学习的有效性。
fsrs4anki
FSRS4Anki 是一个基于Free Spaced Repetition Scheduler算法的间隔重复调度器与优化工具，旨在提升Anki卡片的记忆效率。系统包含调度器和优化器，通过机器学习理解用户记忆模式并优化复习参数。同时，该工具兼容多种Anki插件并适用于最新版Anki，提供详细教程和优化机制说明，且支持社区贡献和数据共享。
lion-pytorch
Lion是一种由Google Brain团队开发的新型优化器，部分效果优于Adam(w)。本文介绍了Lion在Pytorch中的实现和使用方法。通过调整学习率、权重衰减和参数β1、β2，Lion在语言建模和文本生成等任务中表现良好。其安装与使用简单，适合各种大型模型的训练。
learned_optimization
learned_optimization是一个研究代码库，主要用于学习型优化器的训练、设计、评估和应用。该项目实现了多种优化器和训练算法，包括手工设计的优化器、学习型优化器、元训练任务以及ES、PES和截断反向传播等外部训练方法。项目提供了详细的文档和教程，包括Colab笔记本，方便用户快速入门。learned_optimization适用于元学习和动态系统训练的研究，为相关领域提供了功能丰富的工具。
jaxopt
JAXopt是基于JAX的优化器库，提供硬件加速、批处理和可微分的优化算法。支持GPU和TPU，可自动向量化多个优化问题实例，并支持优化解的微分。目前正与Optax合并，处于维护模式。适用于机器学习和科学计算领域的优化任务。
pytorch-lr-finder
pytorch-lr-finder是一个基于PyTorch的学习率范围测试工具，实现了Leslie N. Smith论文中的方法和fastai的改进版本。通过在预训练阶段调整学习率，帮助用户确定最佳学习率。工具支持梯度累积和混合精度训练，适用于多种深度学习任务。简洁的API和可视化功能便于优化神经网络训练过程。
Adan
Adan是一种新型优化算法,结合适应性学习率和Nesterov动量,旨在加速深度学习模型训练。它在计算机视觉、自然语言处理和大规模语言模型等多个领域表现优异。相比Adam和AdamW,Adan通常能使用更大的学习率,训练速度提升5-10倍,同时保持或提高模型精度。目前,Adan已被NVIDIA NeMo、Meta AI D-Adaptation等多个知名深度学习框架和项目采用。
learning-to-learn
了解如何使用TensorFlow和Sonnet在MNIST和CIFAR10等数据集上进行模型训练和评估。本文详细说明了命令行参数，涵盖了训练和评估的步骤，并介绍了从简单二次函数到复杂卷积神经网络的不同问题解决方案。掌握这些方法，可以实现自定义优化器并提高模型性能。