多模态大语言模型在自动驾驶领域的应用调研

我们在仓库中新增了来自CVPR 2024的参考文献，部分参考文献来自自动驾驶之心。

:boom: 最新消息：我们团队的MAPLM（腾讯、伊利诺伊大学香槟分校）和LaMPilot（普渡大学）被CVPR 2024接收。

消息：LLVM-AD研讨会在WACV 2024上成功举办。

WACV 2024会议论文集 | Arxiv | 研讨会 | 机器之心报道

第一届WACV自动驾驶大语言和视觉模型研讨会（LLVM-AD）总结

摘要

随着大语言模型（LLMs）和视觉基础模型（VFMs）的出现，受益于大模型的多模态人工智能系统有潜力像人类一样感知真实世界、做出决策并控制工具。近几个月来，大语言模型在自动驾驶和地图系统中引起了广泛关注。尽管潜力巨大，但在将其应用于大语言模型驾驶系统方面，仍然缺乏对关键挑战、机遇和未来努力方向的全面理解。在这个仓库中，我们对该领域进行了系统性调查。首先，我们介绍了多模态大语言模型（MLLMs）的背景、使用大语言模型开发多模态模型的情况以及自动驾驶的历史。然后，我们概述了现有的用于驾驶、交通和地图系统的MLLM工具，以及现有的数据集和基准。此外，我们总结了第一届WACV自动驾驶大语言和视觉模型研讨会（LLVM-AD）的工作，这是首个关于自动驾驶中大语言模型的同类研讨会。为进一步推动该领域的发展，我们还讨论了在自动驾驶系统中使用MLLMs需要学术界和产业界共同解决的几个重要问题。

精选论文

用于自动驾驶感知、规划和控制的MLLM

如果您发现该领域有任何有趣的新论文，请告知我们。我们将更新到表格中。所有这些论文都将被收录到下一版调研论文中。

数据集

该表格的灵感来自DriveLM中的比较和统计数据

其他综述论文

WACV 2024 LLVM-AD接受的论文

自动驾驶多模态大型语言模型综述

像您说话那样驾驶：实现自动驾驶车辆中与大型语言模型的类人交互

像人类一样驾驶：用大型语言模型重新思考自动驾驶

光束平差的游戏 - 学习高效收敛 接受为ICCV 2023论文的技术报告

VLAAD：自动驾驶的视觉和语言助手

一种更安全的基于视觉的四旋翼无人机自主规划系统，具有动态障碍物轨迹预测功能及其与LLMs的应用

使用LLMs进行用户命令推理的以人为本的自主系统

NuScenes-MQA：使用标记注释对自动驾驶数据集的字幕和问答进行综合评估 基于语义分割的多分支CNN的延迟驱动空间稀疏优化

LIP-Loc: 用于跨模态定位的激光雷达图像预训练

未来方向部分

自动驾驶的社会行为（伊利诺伊大学厄巴纳-香槟分校，普渡大学）

个性化自动驾驶（普渡大学，伊利诺伊大学厄巴纳-香槟分校）

自动驾驶中大语言模型的硬件支持（SambaNova Systems）

用于高清地图的大语言模型（腾讯）

自动驾驶的代码即行动（普渡大学，伊利诺伊大学厄巴纳-香槟分校）

引用

如果本调研和我们的研讨会对您有启发，请引用我们的工作：

@inproceedings{cui2024survey,
  title={自动驾驶多模态大语言模型调研},
  author={崔灿 and 马云生 and 曹旭 and 叶文谦 and 周洋 and 梁凯钊 and 陈金泰 and 卢隽武 and 杨子聪 and 廖奎达 等},
  booktitle={计算机视觉与模式识别冬季会议论文集},
  pages={958--979},
  year={2024}
}