访问官网
Github
文档
论文TransFuser：基于变换器的传感器融合自动驾驶模仿学习
论文 | 补充材料 | 演讲 | 海报 | 幻灯片
本仓库包含PAMI 2023论文TransFuser：基于变换器的传感器融合自动驾驶模仿学习的代码。这项工作是CVPR 2021论文用于端到端自动驾驶的多模态融合变换器的期刊扩展版。CVPR 2021论文的代码可在cvpr2021分支中找到。
如果您觉得我们的代码或论文有用，请引用：
@article{Chitta2023PAMI,
author = {Chitta, Kashyap and
Prakash, Aditya and
Jaeger, Bernhard and
Yu, Zehao and
Renz, Katrin and
Geiger, Andreas},
title = {TransFuser: Imitation with Transformer-Based Sensor Fusion for Autonomous Driving},
journal = {Pattern Analysis and Machine Intelligence (PAMI)},
year = {2023},
}
@inproceedings{Prakash2021CVPR,
author = {Prakash, Aditya and
Chitta, Kashyap and
Geiger, Andreas},
title = {Multi-Modal Fusion Transformer for End-to-End Autonomous Driving},
booktitle = {Conference on Computer Vision and Pattern Recognition (CVPR)},
year = {2021}
}
另外，请查看我们团队最近在CARLA上的其他工作代码：
- Jaeger等，端到端驾驶模型的隐藏偏差（ICCV 2023）
- Renz等，PlanT：通过对象级表示的可解释规划变换器（CoRL 2022）
- Hanselmann等，KING：通过运动学梯度生成安全关键驾驶场景以实现稳健模仿（ECCV 2022）
- Chitta等，NEAT：用于端到端自动驾驶的神经注意力场（ICCV 2021）
目录
设置
克隆仓库，设置CARLA 0.9.10.1，并构建conda环境：
git clone https://github.com/autonomousvision/transfuser.git
cd transfuser
git checkout 2022
chmod +x setup_carla.sh
./setup_carla.sh
conda env create -f environment.yml
conda activate tfuse
pip install torch-scatter -f https://data.pyg.org/whl/torch-1.11.0+cu102.html
pip install mmcv-full==1.5.3 -f https://download.openmmlab.com/mmcv/dist/cu102/torch1.11.0/index.html
数据集和训练
我们的数据集是通过一个称为自动驾驶员的特权代理（/team_code_autopilot/autopilot.py）在8个CARLA城镇中使用此文件夹中提供的路线和场景文件生成的。有关训练路线和场景的详细文档，请参见tools/dataset文件夹。您可以通过运行以下命令下载数据集（210GB）：
chmod +x download_data.sh
./download_data.sh
数据集的结构如下：
- 场景
- 城镇
- 路线
- rgb: 相机图像
- depth: 对应的深度图像
- semantics: 对应的分割图像
- lidar: .npy格式的3D点云
- topdown: 俯视分割图
- label_raw: 车辆的3D边界框
- measurements: 包含自我代理的位置、速度和其他元数据
数据生成
除了数据集本身，我们还提供了使用我们的自动驾驶代理进行数据生成的脚本。要生成数据，第一步是启动CARLA服务器：
./CarlaUE4.sh --world-port=2000 -opengl
有关运行CARLA服务器的更多信息（例如在没有显示器的机器上），请参见官方文档。一旦服务器运行，使用以下脚本生成训练数据：
./leaderboard/scripts/datagen.sh <carla根目录> <此仓库的工作目录 (*/transfuser/)>
此脚本的主要变量是SCENARIOS和ROUTES。
训练脚本
通过模仿学习进行训练的代码在train.py中提供。 在单台机器上运行训练脚本的最简示例：
cd team_code_transfuser
python train.py --batch_size 10 --logdir /path/to/logdir --root_dir /path/to/dataset_root/ --parallel_training 0
训练脚本在主函数开始处记录了许多更有用的功能。 其中之一是并行训练。 在多GPU节点上训练时，脚本的启动方式需要不同：
cd team_code_transfuser
CUDA_VISIBLE_DEVICES=0,1 OMP_NUM_THREADS=16 OPENBLAS_NUM_THREADS=1 torchrun --nnodes=1 --nproc_per_node=2 --max_restarts=0 --rdzv_id=1234576890 --rdzv_backend=c10d train.py --logdir /path/to/logdir --root_dir /path/to/dataset_root/ --parallel_training 1
用CUDA_VISIBLE_DEVICES列举您想要训练的GPU。 将OMP_NUM_THREADS变量设置为系统上可用的CPU数量。 如果您想避免线程生成其他线程，请设置OPENBLAS_NUM_THREADS=1。 将--nproc_per_node设置为节点上可用的GPU数量。
评估代理文件是为评估使用多个GPU训练的模型而构建的。 如果您想评估使用单个GPU训练的模型，需要删除这一行。
评估
Longest6基准测试
我们对CARLA排行榜代码进行了一些小修改，用于Longest6基准测试，这些修改在这里有记录。有关Longest6的描述及如何评估它，请参见leaderboard/data/longest6文件夹。
预训练代理
所有4种方法的预训练代理文件可以从AWS下载：
mkdir model_ckpt
wget https://s3.eu-central-1.amazonaws.com/avg-projects/transfuser/models_2022.zip -P model_ckpt
unzip model_ckpt/models_2022.zip -d model_ckpt/
rm model_ckpt/models_2022.zip
运行代理
要评估模型，我们首先启动CARLA服务器：
./CarlaUE4.sh --world-port=2000 -opengl
CARLA服务器运行后，使用以下脚本评估代理:
./leaderboard/scripts/local_evaluation.sh <carla根目录> <此仓库的工作目录 (*/transfuser/)>
通过编辑local_evaluation.sh中的参数，我们可以在Longest6路线上对性能进行基准测试。你可以评估特权代理(如[autopilot.py])和基于传感器的模型。要评估基于传感器的模型，请使用submission_agent.py作为TEAM_AGENT，并将TEAM_CONFIG指向你下载模型权重的文件夹。代码会根据模型文件夹中的args.txt文件自动配置使用正确的方法。
你可以在这里查看TransFuser在Longest6路线上预期驾驶行为的定性示例。
解析longest6结果
为了从评估运行的结果中计算额外的统计数据，我们提供了一个解析器脚本tools/result_parser.py。
${WORK_DIR}/tools/result_parser.py --xml ${WORK_DIR}/leaderboard/data/longest6/longest6.xml --results /path/to/folder/with/json_results/ --save_dir /path/to/output --town_maps ${WORK_DIR}/leaderboard/data/town_maps_xodr
它将生成一个results.csv文件，包含运行的平均结果和额外的统计数据。它还会生成城镇地图并标记出发生违规的位置。
提交到CARLA排行榜
要提交到CARLA排行榜，你需要在系统上安装docker。 编辑make_docker.sh开头的路径。 创建文件夹team_code_transfuser/model_ckpt/transfuser。 将你想评估的model.pth文件和args.txt复制到team_code_transfuser/model_ckpt/transfuser。 如果你想评估一个集成模型，只需将多个.pth文件复制到该文件夹中，代码将加载所有文件并集成预测结果。
cd leaderboard
cd scripts
./make_docker.sh
该脚本将创建一个名为transfuser-agent的docker镜像。 按照排行榜上的说明创建账户并安装alpha。
alpha login
alpha benchmark:submit --split 3 transfuser-agent:latest
该命令将上传docker镜像到云端并进行评估。 安装 AlphaDrive 命令行工具：
curl http://dist.alphadrive.ai/install-ubuntu.sh | sh -
登录 AlphaDrive 并提交 Docker 镜像：
alpha login
alpha benchmark:submit --split <2/3> <docker_image>
MAP 赛道使用 split 2，SENSORS 赛道使用 split 3。
