ROS-LLM 项目介绍
ROS-LLM项目是一个用于机器人智能应用的ROS框架,帮助实现自然语言交互以及基于大型模型的机器人运动和导航控制。通过这个框架,任何运行ROS的机器人都可以实现与GPT-4和ChatGPT等大型语言模型的交互,从而提升决策和控制能力。
项目特点
-
ROS集成:与机器人操作系统(ROS)无缝协作,支持广泛的机器人控制。
-
大型语言模型支持:利用GPT-4 与 ChatGPT等模型,增强机器人决策和任务管理能力。
-
自然交互:提供与机器人直观的对话式交流。
-
灵活控制:通过语言模型解读实现运动和导航任务的控制。
-
简化的扩展性:提供简单的接口,便于机器人功能集成。
-
快速开发:快速创建机器人的交互和控制体验,通常只需不到十分钟。
-
教学示例:提供全面的教程和示例,便于理解和实施。
-
历史记录存储:保留本地聊天记录,以便回顾和参考。
快速开始指南
以下是设置ROS-LLM的步骤:
1. 克隆代码库:
git clone https://github.com/Auromix/ROS-LLM.git
2. 安装依赖:
进入llm_install
目录并执行安装脚本。
cd ROS-LLM/llm_install
bash dependencies_install.sh
3. 配置OpenAI设置:
如果没有OpenAI API密钥,可以从OpenAI Platform获取。使用脚本配置OpenAI API密钥。
cd ROS-LLM/llm_install
bash config_openai_api_key.sh
4. 配置AWS设置(可选):
为了实现云端的自然交互能力可以配置AWS设置。对于低性能的边缘嵌入式平台,建议使用ASR云服务以降低计算压力,而对于高性能的个人主机,建议使用本地ASR服务以加快响应。
cd ROS-LLM/llm_install
bash config_aws.sh
5. 配置OpenAI Whisper设置(可选):
如需使用本地自然交互能力,配置OpenAI Whisper设置。如果使用云端ASR,此步骤可跳过。
pip install -U openai-whisper
pip install setuptools-rust
6. 构建工作空间:
转到工作空间目录并构建。
cd <your_ws>
rosdep install --from-paths src --ignore-src -r -y # 安装依赖
colcon build --symlink-install
7. 运行示例:
启动设置脚本,并通过云端ASR启动Turtlesim演示。
source <your_ws>/install/setup.bash
ros2 launch llm_bringup chatgpt_with_turtle_robot.launch.py
开始监听
ros2 topic pub /llm_state std_msgs/msg/String "data: 'listening'" -1
配置您自己的机器人(可选)
要使用该框架与您的机器人配合,可修改llm_robot
和llm_config
包以满足机器人规格,这可让您定制机器人的行为。
未来开发计划
开发团队正在不断努力提高ROS-LLM,以更好地服务社区中的开发者和机器人学者。未来更新计划包括:
- 添加支持长序列任务的代理机制。
- 增加从外部功能接收信息的反馈通道。
- 新增机器人导航接口。
- 添加其它传感器输入接口,增强环境感知。
- 提升视觉模型,如Palm-e的集成。
- 持续优化框架,提高其合理性和可扩展性。
关注该项目的更新,欢迎社区的建议与贡献。
用户提示
如果您觉得该项目有用,请考虑在GitHub上给它一个⭐️星标,您的支持可以帮助我们提升项目并鼓励更多的开发。谢谢您的支持!
参与贡献
欢迎贡献!在提交请求前,请阅读贡献指南。
许可证
该项目使用Apache License 2.0开放源代码。详细信息请参阅许可证文件。