Betty: 一个用于通用元学习和多层优化的自动微分库

Betty: 简化元学习和多层优化的强大工具

在机器学习领域,元学习和多层优化是两个日益重要的研究方向。它们为解决复杂的学习任务提供了强大的框架,但同时也带来了实现上的挑战。为了简化这些高级优化技术的应用,来自Leopard AI的研究人员开发了Betty - 一个专门用于通用元学习(GML)和多层优化(MLO)的PyTorch库。

Betty的核心优势

Betty的设计理念是"简单"和"模块化"。它为用户提供了一个直观的编程接口,大大降低了实现GML和MLO算法的难度。使用Betty,研究人员和开发者只需要完成两个核心步骤:

使用Problem类定义每个层级的优化问题
使用Engine类定义问题之间的层级结构

有了这两个基本组件,Betty就能自动处理复杂的内部机制,如梯度计算和优化执行顺序等。这种抽象使得用户可以专注于算法本身的设计,而不必深陷实现细节的泥潭。

广泛的应用前景

Betty的通用性使其能够应用于多个重要的机器学习领域:

超参数优化: 自动调整模型的超参数,提高性能
神经架构搜索: 自动设计最优的神经网络结构
数据重加权: 通过学习样本权重来改善模型训练
领域自适应: 实现预训练模型到新领域的有效迁移
模型无关的元学习: 快速适应新任务的通用学习算法

这些应用traditionally需要不同的实现方式,但在Betty中都可以用统一的代码结构来实现。这大大提高了代码的复用性和可维护性。

Betty应用示意图

强大的技术特性

Betty不仅提供了简洁的接口,还集成了多项先进的技术特性:

梯度近似方法

隐式微分
- 有限差分法
- Neumann级数
- 共轭梯度法
迭代微分
- 反向模式自动微分

这些方法使Betty能够高效地处理复杂的多层优化问题。

训练加速

梯度累积
FP16/BF16混合精度训练
分布式数据并行训练
梯度裁剪

这些特性大大提升了Betty在大规模问题上的训练效率。

日志记录

TensorBoard支持
Weights & Biases (wandb)集成

方便用户实时监控和分析训练过程。

快速上手

使用Betty实现一个GML/MLO程序非常直观。以下是一个简化的示例,展示了如何定义一个分类问题和一个超参数优化问题:

from betty.problems import ImplicitProblem
from betty.configs import Config
from betty import Engine

# 定义分类器问题
class Classifier(ImplicitProblem):
    def training_step(self, batch):
        inputs, labels = batch
        outputs = self.module(inputs)
        loss = F.cross_entropy(outputs, labels)
        return loss

cls_prob = Classifier(name='classifier', module=cls_module, optimizer=cls_optimizer, ...)

# 定义HPO问题
class HPO(ImplicitProblem):
    def training_step(self, batch):
        # 设置超参数优化的损失函数
        ...

hpo_prob = HPO(name='hpo', module=...)

# 设置问题间的依赖关系
u2l = {hpo_prob: [cls_prob]}
l2u = {cls_prob: [hpo_prob]}
dependencies = {'u2l': u2l, 'l2u': l2u}

# 创建和运行Engine
engine = Engine(problems=[cls_prob, hpo_prob], dependencies=dependencies, ...)
engine.run()

这个简单的例子展示了Betty的核心工作流程。通过定义Problem和Engine,用户就可以轻松实现复杂的多层优化算法。