rl4co - 统一框架助力组合优化问题的强化学习解决方案

文档 | 开始使用 | 用法 | 贡献 | 论文 | 加入我们

一个广泛的强化学习(RL)用于组合优化(CO)的基准。我们的目标是为基于RL的CO算法提供一个统一的框架，并促进该领域的可复现研究，将科学与工程解耦。

RL4CO建立在以下基础之上：

TorchRL：官方PyTorch框架，用于在GPU上实现RL算法和向量化环境
TensorDict：一个库，用于轻松处理异构数据，如状态、动作和奖励
PyTorch Lightning：一个轻量级的PyTorch包装器，用于高性能AI研究
Hydra：一个用于优雅配置复杂应用程序的框架

我们提供以下策略的灵活高效实现：

构造型：学习从头构建解决方案
- 自回归(AR)：通过解码器一步一步构建解决方案
- 非自回归(NAR)：学习预测一个启发式方法，如热图，然后构建解决方案
改进型：学习改进已有的解决方案

我们提供了几个实用工具和模块化组件。例如，我们将可重用组件（如_环境嵌入_）模块化，这些组件可以轻松交换以解决新问题。

开始使用

RL4CO现在可以通过pip安装了！

pip install rl4co

为了开始使用，我们建议查看我们的快速入门笔记本或下面的最小化示例。

从源代码安装

这个命令安装最新的main版本，对于保持最新开发很有用 - 例如，如果自上次官方发布以来修复了一个bug，但还没有推出新的发布版本：

pip install -U git+https://github.com/ai4co/rl4co.git

本地安装和开发

如果你想开发RL4CO，我们建议你使用pip以可编辑模式在本地安装：

git clone https://github.com/ai4co/rl4co && cd rl4co
pip install -e .

我们建议使用虚拟环境（如conda）在本地安装rl4co。

用法

使用默认配置训练模型（AM在TSP环境上）：

python run.py

[!提示] 你可以查看这个笔记本来开始使用Hydra！

更改实验设置

使用从configs/experiment/选择的实验配置训练模型

python run.py experiment=routing/am env=tsp env.num_loc=50 model.optimizer_kwargs.lr=2e-4

在这里，你可以通过命令行更改环境，例如使用env=cvrp，或者通过修改相应的实验配置，例如configs/experiment/routing/am.yaml。

禁用日志记录

python run.py experiment=routing/am logger=none '~callbacks.learning_rate_monitor'

注意，~用于禁用需要日志记录器的回调。

创建超参数扫描（-m用于多次运行）

python run.py -m experiment=routing/am  model.optimizer.lr=1e-3,1e-4,1e-5

最小化示例

这里是一个最小化示例，在不到30行代码内训练具有贪婪rollout基线的注意力模型在TSP上：

from rl4co.envs.routing import TSPEnv, TSPGenerator
from rl4co.models import AttentionModelPolicy, POMO
from rl4co.utils import RL4COTrainer

# 实例化生成器和环境
generator = TSPGenerator(num_loc=50, loc_distribution="uniform")
env = TSPEnv(generator)

# 创建策略和强化学习模型
policy = AttentionModelPolicy(env_name=env.name, num_encoder_layers=6)
model = POMO(env, policy, batch_size=64, optimizer_kwargs={"lr": 1e-4})

# 实例化训练器并拟合
trainer = RL4COTrainer(max_epochs=10, accelerator="gpu", precision="16-mixed")
trainer.fit(model)

其他示例可以在文档中找到！

测试

从根目录使用pytest运行测试：

pytest tests

已知问题

安装PyTorch Geometric (PyG)时的问题

通过Conda安装PyG似乎会更新Torch本身。我们发现这个更新会导致torchrl出现一些问题。目前，我们建议使用Pip安装PyG：

pip install torch_geometric

贡献

有建议、请求或发现了bug？欢迎提出问题或提交拉取请求。如果您想贡献，请查看我们的贡献指南这里。我们欢迎并期待所有对RL4CO的贡献！

如果您有任何问题或想与我们讨论RL4CO，我们也在Slack上。我们欢迎合作，很乐意听到您的想法🚀

贡献者

引用

如果您发现RL4CO对您的研究或应用项目有价值：

@article{berto2024rl4co,
    title={{RL4CO: an Extensive Reinforcement Learning for Combinatorial Optimization Benchmark}},
    author={Federico Berto and Chuanbo Hua and Junyoung Park and Laurin Luttmann and Yining Ma and Fanchen Bu and Jiarui Wang and Haoran Ye and Minsu Kim and Sanghyeok Choi and Nayeli Gast Zepeda and André Hottung and Jianan Zhou and Jieyi Bi and Yu Hu and Fei Liu and Hyeonah Kim and Jiwoo Son and Haeyeon Kim and Davide Angioni and Wouter Kool and Zhiguang Cao and Jie Zhang and Kijung Shin and Cathy Wu and Sungsoo Ahn and Guojie Song and Changhyun Kwon and Lin Xie and Jinkyoo Park},
    year={2024},
    journal={arXiv preprint arXiv:2306.17100},
    note={\url{https://github.com/ai4co/rl4co}}
}

请注意，RL4CO的先前版本已被接受为NeurIPS 2023 GLFrontiers研讨会的口头报告。自那时以来，该库已经大大发展和改进！

加入我们

我们邀请您加入我们的AI4CO社区，这是一个面向组合优化的人工智能开放研究小组！