Project Icon

calvin

机器人长时间操作任务中基于语言条件的策略学习

CALVIN是一个开源的模拟基准,用于学习长时间的语言条件任务,旨在开发能够通过人类语言指令和车载传感器完成多种机器人操作任务的代理。该项目支持复杂任务序列、动作空间和语言规格,提供灵活的传感器配置详细评估协议,并通过多种难度模式提高测试效能。项目资源包括训练模型、评估脚本和数据下载选项,是机器人视觉与语言研究的理想选择。

carla-roach - 端到端城市自动驾驶仿真框架
CARLA-RoachGithub基准测试开源项目强化学习模仿学习自动驾驶
CARLA-Roach是一个端到端城市自动驾驶仿真框架,通过模仿强化学习教练实现驾驶。它提供基准测试、数据收集、强化学习训练和基于DAGGER的模仿学习功能。该项目还包含预训练模型,支持在NoCrash和CARLA Leaderboard等基准上评估。CARLA-Roach为自动驾驶研究提供了实用的仿真平台。
AgentVerse - 全面的多语言模型(LM)部署与应用框架
AgentVerseGithub任务解决多智能体环境开源社区开源项目模拟框架热门
AgentVerse 是专为多语言模型(LM)部署与应用而设计的框架,提供任务解决和模拟两大核心功能。任务解决框架能集成多个代理,协同完成特定任务,如软件开发和咨询系统等;而模拟框架则允许用户自定义环境,从而观察和交互多个代理间的行为。此外,该项目也在 NVIDIA 博客和 ICLR 2024 上有所介绍,并提供了与诸多应用相结合的开源社区支持。
JARVIS-1 - 开放世界中具备多模态记忆的多任务智能体
GithubJARVIS-1Minecraft多模态语言模型开放世界开源项目记忆增强
JARVIS-1通过多模态输入和人类指令实现复杂任务的规划和执行,在开放世界的Minecraft中表现出强大的功能。该智能体结合预训练多模态语言模型与实际游戏经验,将视觉观察和文本指令转化为执行计划,并利用多模态记忆进行规划。JARVIS-1能完成超过200种任务,从砍树等短期任务到获取钻石镐等长期任务,均表现卓越。项目仅在Linux上运行,依赖多个相关项目如STEVE-1和Minedojo。
can-ai-code - 通过人类撰写的面试题测试AI的编程能力
AI codingDockerGithubLLMquantizationtesting suite开源项目
该项目通过人类撰写的面试题测试AI的编程能力,提供多种主流API提供商和CUDA支持的推理脚本,并在基于Docker的沙盒环境中验证Python和NodeJS代码的安全性。用户可以评估提示技巧和采样参数对大语言模型(LLM)编码性能的影响,以及量化对LLM编码性能的衰减影响。项目包括多语言测试套件和来自OpenAI的Python-only测试套件,支持对比分析,并提供了详尽的结果数据和评估脚本。
Vista - 通用自动驾驶世界模型实现高保真多场景预测
GithubVista世界模型开源项目控制自动驾驶预测
Vista是一款通用自动驾驶世界模型,可在多种场景中生成高保真度的预测,并扩展至连续和长期视野。模型支持多模态操作控制,包括转向、速度、指令、轨迹和目标点设定,无需真实操作数据即可评估不同行为。Vista在预测精度和操控灵活性上有显著提升,为自动驾驶技术研究提供了有力支持。
ACT - 基于模仿学习的低成本机器人解决方案
Action Chunking TransformerGithub低成本机器人分拣任务开源项目机器人手臂模仿学习
该开源项目适配250美元低成本机器人,采用Action Chunking Transformer (ACT)技术实现模仿学习。项目流程包括数据收集、策略训练和评估,非专业人士只需提供少量远程操作演示即可。使用RTX 3080显卡,30分钟内即可完成训练。项目旨在为机器人学习提供经济实惠的解决方案。
AgentTuning - 提升大语言模型的多任务代理能力
AI代理AgentTuningGithubLLM开源项目机器学习自然语言处理
AgentTuning项目通过多种代理任务的交互数据微调大语言模型,增强其通用代理能力。实验表明,经过AgentTuning的模型在新的代理任务中展现出良好的泛化能力,同时保持了强大的语言处理能力。项目开源的AgentInstruct数据集和AgentLM模型为相关研究提供了重要参考。
RT-2 - 基于PALM-E构建的下一代机器人模型,集成了视觉编码和语言嵌入
GithubRT-2人工智能动作模型开源项目机器人视觉语言
RT-2是基于PALM-E构建的下一代机器人模型,集成了视觉编码和语言嵌入。该模型利用大规模网络数据集和机器人数据,能够将视觉和语义线索转换为机器人控制动作。RT-2的架构易于部署,简化了多重感官数据的处理,提高了行动预测的效率。其广泛的应用场景包括自动化工厂、医疗保健和智能家居。通过详细的安装步骤和使用示例,用户可以轻松集成该模型到现有系统中。
ibc - 隐式行为克隆算法在机器人策略学习中的创新应用
GithubImplicit Behavioral Cloning人工智能开源项目机器人策略学习能量模型行为克隆
IBC项目提出的隐式行为克隆算法在机器人策略学习中表现优异。该方法善于处理复杂、不连续和多值函数,适用于高维动作空间和视觉输入场景。在D4RL基准测试中,IBC在人类专家任务上与顶尖离线强化学习方法相当。实际应用中,IBC能让机器人学习复杂精细行为,应对高组合复杂性和毫米级精度任务。
Multimodal-GPT - 整合视觉与语言功能的多模态对话机器人
GithubOpenFlamingo多模态GPT开源项目联合训练视觉指令语言模型
Multimodal-GPT是一个基于OpenFlamingo多模态模型的项目,通过结合视觉指令和语言指令数据的联合训练,有效提升模型性能。该项目支持VQA、图像描述、视觉推理、文本OCR和视觉对话等多种数据类型,并利用LoRA进行参数高效的微调。探索Multimodal-GPT的广泛应用可能性。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

稿定AI

稿定设计 是一个多功能的在线设计和创意平台,提供广泛的设计工具和资源,以满足不同用户的需求。从专业的图形设计师到普通用户,无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑,稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合,帮助用户轻松实现创意设计。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号