BoTorch: 高效的基于PyTorch的贝叶斯优化框架

BoTorch:高效的基于PyTorch的贝叶斯优化框架

BoTorch是一个强大且灵活的贝叶斯优化库,基于PyTorch构建。它为组合贝叶斯优化的各个原语提供了模块化和易于扩展的接口,包括概率模型、采集函数和优化器。作为一个开源项目,BoTorch正在快速发展,吸引了来自学术界和工业界的广泛关注。

BoTorch的主要特点

模块化设计: BoTorch提供了一个模块化的接口,使得组合贝叶斯优化的各个组件变得简单直观。用户可以轻松地插入新的模型、采集函数和优化器,从而实现自定义的优化算法。
基于PyTorch: 充分利用了PyTorch的强大功能,包括自动微分、对现代硬件(如GPU)的原生支持,以及动态计算图。这使得BoTorch能够高效地处理大规模优化问题。
支持蒙特卡洛采集函数: 通过重参数化技巧,BoTorch支持基于蒙特卡洛的采集函数。这使得实现新的采集函数变得更加简单,无需对底层模型做出限制性假设。
与深度学习无缝集成: 作为PyTorch生态系统的一部分,BoTorch可以轻松地与深度学习模型和卷积架构集成。
先进的概率模型支持: 通过与GPyTorch的集成,BoTorch提供了对最先进的概率模型的一流支持,包括多任务高斯过程、深度核学习、深度高斯过程和近似推断。

BoTorch Logo

安装BoTorch

BoTorch的安装非常简单,可以通过Anaconda或pip进行安装。推荐使用Anaconda,特别是对于MacOS的Intel处理器用户:

conda install botorch -c pytorch -c gpytorch -c conda-forge

对于使用pip的用户:

pip install botorch

快速入门

以下是使用BoTorch进行贝叶斯优化的基本步骤:

拟合高斯过程模型:

import torch
from botorch.models import SingleTaskGP
from botorch.models.transforms import Normalize, Standardize
from botorch.fit import fit_gpytorch_mll
from gpytorch.mlls import ExactMarginalLogLikelihood

# 使用双精度浮点数
train_X = torch.rand(10, 2, dtype=torch.double) * 2
Y = 1 - (train_X - 0.5).norm(dim=-1, keepdim=True)
Y += 0.1 * torch.rand_like(Y)

gp = SingleTaskGP(
    train_X=train_X,
    train_Y=Y,
    input_transform=Normalize(d=2),
    outcome_transform=Standardize(m=1),
)
mll = ExactMarginalLogLikelihood(gp.likelihood, gp)
fit_gpytorch_mll(mll)

构建采集函数:

from botorch.acquisition import LogExpectedImprovement

logEI = LogExpectedImprovement(model=gp, best_f=Y.max())

优化采集函数:

from botorch.optim import optimize_acqf

bounds = torch.stack([torch.zeros(2), torch.ones(2)]).to(torch.double)
candidate, acq_value = optimize_acqf(
    logEI, bounds=bounds, q=1, num_restarts=5, raw_samples=20,
)