访问官网
Github
论文
BoTorch 是一个基于 PyTorch 构建的贝叶斯优化库。
BoTorch 目前处于测试阶段，正在积极开发中！
为什么选择 BoTorch？
BoTorch
- 提供了一个模块化且易于扩展的接口，用于组合贝叶斯优化原语，包括概率模型、采集函数和优化器。
- 利用 PyTorch 的强大功能，包括自动微分、对高度并行的现代硬件（如 GPU）的原生支持，以及使用与设备无关的代码和动态计算图。
- 通过重参数化技巧支持基于蒙特卡洛的采集函数，这使得实现新想法变得简单直接，而无需对底层模型施加限制性假设。
- 可无缝集成 PyTorch 中的深度和/或卷积架构。
- 对 GPyTorch 中的最先进概率模型提供一流支持，包括对多任务高斯过程（GP）、深度核学习、深度 GP 和近似推理的支持。
目标受众
BoTorch 的主要受众是贝叶斯优化和人工智能领域的研究人员和高级从业者。我们建议将 BoTorch 作为实现新算法的低级 API，用于 Ax。Ax 的设计旨在为终端用户提供易于使用的平台，同时也足够灵活，可供贝叶斯优化研究人员插入以处理特征转换、（元）数据管理、存储等。我们建议不积极从事贝叶斯优化研究的终端用户直接使用 Ax。
安装
安装要求
- Python >= 3.10
- PyTorch >= 1.13.1
- gpytorch == 1.12
- linear_operator == 0.5.2
- pyro-ppl >= 1.8.4
- scipy
- multiple-dispatch
仅适用于使用 Intel 处理器的 MacOS 用户的先决条件：
在安装 BoTorch 之前，我们建议首先手动安装 PyTorch，这是 BoTorch 的必需依赖项。按照 PyTorch 安装说明 进行安装，确保它与 MKL 正确链接，MKL 是一个为 Intel 处理器优化数学计算的库。这将使贝叶斯优化的速度提高多达一个数量级，因为目前从 pip 安装 PyTorch 不会与 MKL 链接。
PyTorch 安装说明目前建议：
- 安装 Anaconda。请注意，Intel 和 M1 Mac 有不同的安装程序。
- 按照 PyTorch 安装说明 安装 PyTorch。目前，这建议运行
conda install pytorch torchvision -c pytorch。
如果您想自定义安装，请按照 PyTorch 安装说明 从源代码构建。
选项 1：安装最新版本
BoTorch 的最新版本可以通过 Anaconda（推荐）或 pip 轻松安装。 从Anaconda安装BoTorch，运行以下命令：
conda install botorch -c pytorch -c gpytorch -c conda-forge
上述命令会安装BoTorch及其所需的依赖项。-c pytorch -c gpytorch -c conda-forge表示安装优先级最高的是PyTorch频道，其次是GPyTorch频道，最后是conda-forge。
或者，使用pip安装，执行：
pip install botorch
注意：确保使用的pip确实是新创建的Conda环境中的版本。如果您使用的是基于Unix的操作系统，可以用which pip命令进行检查。
选项2：从最新主分支安装
如果您想尝试我们最新的功能（且不介意可能偶尔遇到的错误），可以直接从GitHub安装最新的开发版本。如果您还想安装当前gpytorch和linear_operator的开发版本，需要确保设置了ALLOW_LATEST_GPYTORCH_LINOP环境变量：
pip install --upgrade git+https://github.com/cornellius-gp/linear_operator.git
pip install --upgrade git+https://github.com/cornellius-gp/gpytorch.git
export ALLOW_LATEST_GPYTORCH_LINOP=true
pip install --upgrade git+https://github.com/pytorch/botorch.git
选项3：可编辑/开发安装
如果您想为BoTorch做出贡献，您可能希望进行可编辑安装，以便能够修改文件并在本地安装中反映这些更改。
如果您想像选项2那样安装当前gpytorch和linear_operator的开发版本，请在继续之前先完成那些步骤。
选项3a：基本的可编辑安装
git clone https://github.com/pytorch/botorch.git
cd botorch
pip install -e .
选项3b：包含开发和教程依赖项的可编辑安装
git clone https://github.com/pytorch/botorch.git
cd botorch
export ALLOW_BOTORCH_LATEST=true
pip install -e ".[dev, tutorials]"
dev：指定开发所需的工具（测试、代码检查、文档构建；详见下方的"贡献"部分）。tutorials：同时安装运行教程笔记本所需的所有包。- 您也可以只安装开发或教程依赖项中的一个，例如将最后一条命令改为
pip install -e ".[dev]"。
入门
以下是贝叶斯优化循环主要组成部分的快速概览。更多详情请参阅我们的文档和教程。
- 将高斯过程模型拟合到数据
import torch
from botorch.models import SingleTaskGP
from botorch.models.transforms import Normalize, Standardize
from botorch.fit import fit_gpytorch_mll
from gpytorch.mlls import ExactMarginalLogLikelihood
# 强烈建议对GP使用双精度。
# 参见 https://github.com/pytorch/botorch/discussions/1444
train_X = torch.rand(10, 2, dtype=torch.double) * 2
Y = 1 - (train_X - 0.5).norm(dim=-1, keepdim=True) # 显式输出维度
Y += 0.1 * torch.rand_like(Y)
gp = SingleTaskGP(
train_X=train_X,
train_Y=Y,
input_transform=Normalize(d=2),
outcome_transform=Standardize(m=1),
)
mll = ExactMarginalLogLikelihood(gp.likelihood, gp)
fit_gpytorch_mll(mll)
- 构造获取函数
from botorch.acquisition import LogExpectedImprovement
logNEI = LogExpectedImprovement(model=gp, best_f=Y.max())
- 优化获取函数
from botorch.optim import optimize_acqf
bounds = torch.stack([torch.zeros(2), torch.ones(2)]).to(torch.double)
candidate, acq_value = optimize_acqf(
logNEI, bounds=bounds, q=1, num_restarts=5, raw_samples=20,
)
引用BoTorch
如果您使用BoTorch，请引用以下论文：
@inproceedings{balandat2020botorch,
title={{BoTorch: A Framework for Efficient Monte-Carlo Bayesian Optimization}},
author={Balandat, Maximilian and Karrer, Brian and Jiang, Daniel R. and Daulton, Samuel and Letham, Benjamin and Wilson, Andrew Gordon and Bakshy, Eytan},
booktitle = {Advances in Neural Information Processing Systems 33},
year={2020},
url = {http://arxiv.org/abs/1910.06403}
}
点击此处可查看一些基于BoTorch的同行评审论文的不完全列表。
贡献
有关如何提供帮助，请参阅CONTRIBUTING文件。
许可证
BoTorch采用MIT许可证，详见LICENSE文件。
