ChatSim简介
ChatSim是一个通过自然语言命令实现可编辑的逼真3D驾驶场景模拟系统。它利用LLM代理协作框架实现高灵活度的编辑功能,采用多摄像头神经辐射场方法生成逼真效果,并使用新颖的多摄像头照明估计方法实现场景一致的资产渲染。
项目资源
安装指南
- 克隆仓库:
git clone https://github.com/yifanlu0227/ChatSim.git --recursive
- 环境配置:
conda create -n chatsim python=3.9 git-lfs
conda activate chatsim
- 安装依赖:
pip install -r requirements.txt
-
安装渲染引擎(McNeRF或3D Gaussian Splatting)
-
安装Blender及相关工具
详细安装步骤请参考GitHub README。
使用教程
-
准备数据:
- 下载Waymo数据集
- 重新校准Waymo数据
- 下载3D资产和天空圆顶HDRI
-
训练模型:
- 训练McNeRF或3D Gaussian Splatting
-
开始模拟:
python main.py -y config/waymo-1137.yaml -p "Add a Benz G in front of me, driving away fast."
更多使用说明请查看GitHub使用指南。
核心技术
- LLM代理协作框架
- 多摄像头神经辐射场渲染
- 多摄像头照明估计
参与贡献
欢迎通过GitHub Issues或Pull Requests参与项目开发和改进。
ChatSim为自动驾驶场景模拟提供了一种新颖的解决方案,希望这份学习资料能帮助你快速上手这个有趣的项目!