访问官网
Github
论文
注意 SMACv2 已发布！点击此处查看。
警告 请注意您实验中使用的 SC2 版本。 不同版本之间的性能并非总是可比的。SMAC 论文中的结果使用的是
SC2.4.6.2.69232，而非SC2.4.10。
SMAC - 星际争霸多智能体挑战赛
SMAC是WhiRL基于暴雪的星际争霸 II RTS 游戏开发的合作多智能体强化学习(MARL)研究环境。SMAC 利用暴雪的星际争霸 II 机器学习 API和DeepMind的PySC2提供了一个便捷的接口，使自主智能体能够与星际争霸 II 交互，获取观察并执行动作。与PySC2不同，SMAC 专注于分散式微观管理场景，其中游戏中的每个单位都由一个独立的强化学习智能体控制。
请参阅随附的论文和博客文章，了解我们使用 SMAC 作为 MARL 研究测试平台的动机概述和初步实验结果。
关于
我们还发布了PyMARL - 我们基于PyTorch的 MARL 研究框架，其中包含了几种最先进算法的实现，如QMIX和COMA。
论文中使用的运行数据可以在这里找到。由于星际争霸 II 最近的变更，这些运行数据已经过时。如果您使用当前版本的 SMAC 进行实验，请不要将您的结果与此处提供的结果进行比较。
快速开始
安装 SMAC
您可以使用以下命令安装 SMAC：
pip install git+https://github.com/oxwhirl/smac.git
或者，您可以克隆 SMAC 仓库，然后安装 smac 及其依赖项：
git clone https://github.com/oxwhirl/smac.git
pip install -e smac/
注意：如果您想扩展 SMAC，请按以下方式安装软件包：
git clone https://github.com/oxwhirl/smac.git
cd smac
pip install -e ".[dev]"
pre-commit install
您可能还需要升级 pip：pip install --upgrade pip 以确保安装正常进行。
安装星际争霸 II
SMAC 基于完整版的星际争霸 II（版本 >= 3.16.1）。要安装游戏，请按照以下命令操作。
Linux
请使用暴雪的仓库下载 Linux 版本的星际争霸 II。默认情况下，游戏应该位于 ~/StarCraftII/ 目录。可以通过设置环境变量 SC2PATH 来更改此路径。
MacOS/Windows
请从Battle.net安装星际争霸 II。免费的入门版也可以使用。如果您使用默认安装位置，PySC2 将找到最新的二进制文件。否则，与 Linux 版本类似，您需要设置 SC2PATH 环境变量为游戏的正确位置。
SMAC 地图
SMAC 由许多预配置地图的战斗场景组成。在使用 SMAC 之前，需要将这些地图下载到星际争霸 II 的 Maps 目录中。
下载SMAC 地图并将其解压到您的 $SC2PATH/Maps 目录。如果您通过 git 安装了 SMAC，只需将 smac/env/starcraft2/maps/ 中的 SMAC_Maps 目录复制到 $SC2PATH/Maps 目录即可。
列出地图
要查看 SMAC 地图列表，以及盟友和敌人单位数量和回合限制，请运行：
python -m smac.bin.map_list
创建新地图
用户可以通过添加新地图/场景来扩展 SMAC。为此，需要：
- 使用星际争霸 II 编辑器设计新地图/场景：
- 请仔细查看现有地图，了解我们使用的基本元素（如触发器、单位等），
- 我们使用特殊的强化学习单位，这些单位永远不会自动开始攻击敌人。这里是基于现有 SC2 单位创建新强化学习单位的分步指南，
- 在 smac_maps.py 中添加地图信息，
- 新设计的强化学习单位有新的 ID，需要在 starcraft2.py 中处理。特别是对于包含多种单位类型的异构地图，需要在
_init_ally_unit_types()函数中手动设置单位 ID。
测试 SMAC
请运行以下命令以确保 smac 及其地图已正确安装。
python -m smac.examples.random_agents
保存和观看星际争霸 II 回放
保存回放
如果您使用我们的PyMARL多智能体强化学习框架，以下是需要执行的操作：
- 保存模型：我们在Linux服务器上运行实验，设置
save_model = True（save_model_interval也相关），以便保存训练检查点（神经网络参数）（点击这里了解更多详情）。 - 加载模型：可以使用
checkpoint_path参数加载已学习的模型。如果您在MacOS（或Windows）上运行 PyMARL，同时设置save_replay=True，这将在测试模式（无探索）下为test_nepisode个回合在星际争霸 II 的 Replay 目录中保存一个 .SC2Replay 文件。（点击这里了解更多详情）。
如果您想在不使用 PyMARL 的情况下保存回放，只需在您的训练/测试代码中调用 SMAC 的 StarCraft2Env 的 save_replay() 函数。这将保存自星际争霸 II 客户端启动以来所有回合的回放。
在 Linux 上保存和稍后观看回放的最简单方法是使用Wine。
观看回放
您可以通过点击相应的回放文件直接在 MacOS/Windows 的星际争霸 II 客户端中观看保存的回放。
您也可以通过运行以下命令观看保存的回放：
python -m pysc2.bin.play --norender --replay <path-to-replay>
只要游戏能找到地图，这对任何回放都适用。
有关更多信息，请参阅PySC2文档。
文档
有关环境的详细描述，请阅读SMAC 文档。 我们使用SMAC进行实验的初步结果可以在随附论文中找到。
引用SMAC
如果您在研究中使用SMAC，请引用SMAC论文。
M. Samvelyan, T. Rashid, C. Schroeder de Witt, G. Farquhar, N. Nardelli, T.G.J. Rudner, C.-M. Hung, P.H.S. Torr, J. Foerster, S. Whiteson. 星际争霸多智能体挑战赛, CoRR abs/1902.04043, 2019.
BibTeX格式：
@article{samvelyan19smac,
title = {{星际争霸多智能体挑战赛}},
author = {Mikayel Samvelyan and Tabish Rashid and Christian Schroeder de Witt and Gregory Farquhar and Nantas Nardelli and Tim G. J. Rudner and Chia-Man Hung and Philiph H. S. Torr and Jakob Foerster and Shimon Whiteson},
journal = {CoRR},
volume = {abs/1902.04043},
year = {2019},
}
代码示例
以下是一个小型代码示例，展示了如何使用SMAC。在这里，各个智能体在从环境接收观察和全局状态后执行随机策略。
如果您想在SMAC上尝试最先进的算法（如QMIX和COMA），请使用PyMARL - 我们的多智能体强化学习研究框架。
from smac.env import StarCraft2Env
import numpy as np
def main():
env = StarCraft2Env(map_name="8m")
env_info = env.get_env_info()
n_actions = env_info["n_actions"]
n_agents = env_info["n_agents"]
n_episodes = 10
for e in range(n_episodes):
env.reset()
terminated = False
episode_reward = 0
while not terminated:
obs = env.get_obs()
state = env.get_state()
# env.render() # 取消注释以进行渲染
actions = []
for agent_id in range(n_agents):
avail_actions = env.get_avail_agent_actions(agent_id)
avail_actions_ind = np.nonzero(avail_actions)[0]
action = np.random.choice(avail_actions_ind)
actions.append(action)
reward, terminated, _ = env.step(actions)
episode_reward += reward
print("第{}轮总奖励 = {}".format(e, episode_reward))
env.close()
RLlib示例
您还可以在RLlib中运行SMAC环境，其中包括可扩展的算法，如PPO和IMPALA。查看此处的示例代码。
PettingZoo示例
感谢Rodrigo de Lazcano，SMAC现在支持PettingZoo API和PyGame环境渲染。查看此处的示例代码。
