ChatSim简介

ChatSim是一个通过自然语言命令实现可编辑的逼真3D驾驶场景模拟系统。它利用LLM代理协作框架实现高灵活度的编辑功能,采用多摄像头神经辐射场方法生成逼真效果,并使用新颖的多摄像头照明估计方法实现场景一致的资产渲染。

项目资源

• GitHub仓库 - 包含完整代码和说明文档
• 项目主页 - 展示了更多项目细节和效果演示
• 论文 - 详细介绍了ChatSim的技术原理
• 演示视频 - 直观展示了ChatSim的功能和效果

安装指南

1. 克隆仓库:

git clone https://github.com/yifanlu0227/ChatSim.git --recursive

2. 环境配置:

conda create -n chatsim python=3.9 git-lfs
conda activate chatsim

3. 安装依赖:

pip install -r requirements.txt

4. 安装渲染引擎(McNeRF或3D Gaussian Splatting)

5. 安装Blender及相关工具

详细安装步骤请参考GitHub README。

使用教程

1. 准备数据:

   • 下载Waymo数据集
   • 重新校准Waymo数据
   • 下载3D资产和天空圆顶HDRI

2. 训练模型:

   • 训练McNeRF或3D Gaussian Splatting

3. 开始模拟:

python main.py -y config/waymo-1137.yaml -p "Add a Benz G in front of me, driving away fast."

更多使用说明请查看GitHub使用指南。

核心技术

• LLM代理协作框架
• 多摄像头神经辐射场渲染
• 多摄像头照明估计

参与贡献

欢迎通过GitHub Issues或Pull Requests参与项目开发和改进。

ChatSim为自动驾驶场景模拟提供了一种新颖的解决方案,希望这份学习资料能帮助你快速上手这个有趣的项目!