Project Icon

DriveLM

自主驾驶图形视觉问答新进展

DriveLM项目集成nuScenes和CARLA数据集,提出基于VLM的图形视觉问答方法,实现图形VQA和端到端驾驶。作为CVPR 2024自主驾驶挑战的主要赛道,提供了基准、测试数据、提交格式和评估流程,帮助解决数据缺乏和闭环规划问题。了解DriveLM的关键特性、主要优势及最新更新,推动多模态模型在现实应用中的发展。

Autonomous-Driving-in-Carla-using-Deep-Reinforcement-Learning - CARLA仿真中的深度强化学习自动驾驶模型
CARLAGithubPPO变分自编码器开源项目深度强化学习自动驾驶
该项目在CARLA仿真环境中,使用深度强化学习方法进行自动驾驶训练。通过结合PPO算法和变分自编码器(VAE),加速学习并提高驾驶决策能力。项目采用Python和PyTorch构建,重点在于自动驾驶和障碍物回避的持续学习。对于推动自动驾驶技术和决策效率研究具有显著意义。
GPT-Driver - 将GPT-3.5模型用于自动驾驶运动规划的简便方法
GPT-DriverGithubarXiv大型语言模型开源项目自动驾驶运动规划
GPT-Driver项目将自动驾驶的运动规划问题转化为语言建模问题,利用大型语言模型的推理和泛化能力生成驾驶轨迹。通过提示-推理-微调策略,模型能够精确描述轨迹坐标并解释决策过程。实验结果显示,在大规模nuScenes数据集上,该方法表现出色,具备有效性、泛化能力和可解释性。
LVM - 大规模视觉模型的创新顺序建模方法
GithubLVM大规模视觉模型序列建模开源项目视觉句子视觉预训练模型
LVM是一种创新视觉预训练模型,将多种视觉数据转化为视觉句子,并进行自回归式标记预测。该模型采用顺序建模方法,无需语言数据即可学习大规模视觉模型。通过设计视觉提示,LVM可解决多种视觉任务。兼容GPU和TPU,为大规模视觉模型学习提供新方法。
carla_garage - 突破端到端自动驾驶模型的隐藏偏差 高性能仿真平台
CARLAGithub开源项目深度学习端到端模型自动驾驶计算机视觉
基于CARLA仿真器的端到端自动驾驶研究开源项目。提供可配置代码、文档和高性能预训练模型,揭示了端到端驾驶模型的隐藏偏差。在多个基准测试中表现优异,支持数据生成、模型训练和评估,有助于研究人员探索自动驾驶前沿问题。
VisionLLaMA - 基于LLaMA的统一视觉模型,为图像生成和理解设立新基准
GithubVisionLLaMA图像理解图像生成开源项目计算机视觉预训练模型
VisionLLaMA是一个基于LLaMA架构的统一视觉Transformer模型,专为处理2D图像而设计。该模型提供平面和金字塔两种形式,适用于广泛的视觉任务,包括图像感知和生成。通过各种预训练范式的广泛评估,VisionLLaMA在多项图像生成和理解任务中展现出卓越性能,超越了现有最先进的视觉Transformer模型,为计算机视觉领域提供了新的基准。
Vista - 通用自动驾驶世界模型实现高保真多场景预测
GithubVista世界模型开源项目控制自动驾驶预测
Vista是一款通用自动驾驶世界模型,可在多种场景中生成高保真度的预测,并扩展至连续和长期视野。模型支持多模态操作控制,包括转向、速度、指令、轨迹和目标点设定,无需真实操作数据即可评估不同行为。Vista在预测精度和操控灵活性上有显著提升,为自动驾驶技术研究提供了有力支持。
Agent-Driver - 革命性智能驾驶系统 融合人类智慧与AI技术
Agent-DriverGithub人工智能大型语言模型开源项目自动驾驶认知代理
Agent-Driver是一个创新型自动驾驶系统,通过大型语言模型作为认知代理,将人类智能整合到自动驾驶中。系统包括多功能工具库、认知记忆和推理引擎,实现类人的推理和决策能力。在nuScenes基准测试中,Agent-Driver性能显著超越现有方法,并展现出优秀的可解释性和少样本学习能力。这一项目为自动驾驶领域提供了新的研究方向,向实现人类级别驾驶迈进。
Llama-3-VILA1.5-8B - 视觉语言模型支持多图像推理和边缘计算
GithubHuggingfaceVILA图文理解多模态大模型开源项目模型视觉语言模型边缘计算
Llama-3-VILA1.5-8B是一款基于大规模交错图像-文本数据预训练的视觉语言模型。该模型具备多图像推理、情境学习和视觉思维链等功能,可部署于边缘设备。在12个基准测试中,包括5个学术视觉问答和7个指令跟随测试,Llama-3-VILA1.5-8B展现了优秀性能。这一模型为研究人员和AI爱好者提供了进行大型多模态模型和聊天机器人研究的有力工具。
CogVLM - 开源视觉语言模型,提升图像理解与跨模态对话功能
CogAgentCogVLMGithub图像理解多回合对话开源项目跨模态基准测试
CogVLM和CogAgent是领先的开源视觉语言模型,专注于图像理解和跨模态任务。CogVLM-17B拥有100亿视觉参数和70亿语言参数,并在NoCaps、Flicker30k等十个经典跨模态基准测试上表现出色。CogAgent在CogVLM的基础上改进,增添了GUI图像代理能力,支持1120*1120分辨率的图像理解,并在VQAv2、TextVQA等九个基准测试中表现优秀。该项目提供详细的技术文档、示例代码和Web演示,用户可以方便地进行模型推理和微调。了解更多信息,请访问项目主页。
InterFuser - 多传感器融合技术助力安全增强自动驾驶
CARLAGithubInterFuser传感器融合安全增强开源项目自动驾驶
该项目融合多模态多视角传感器信息,实现综合场景理解,生成可解释的中间特征,确保动作在安全范围内。该方法在CARLA AD排行榜上取得了最新成果,项目还提供了详细的数据生成、训练和评估步骤,以及实用工具脚本和预训练权重。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

稿定AI

稿定设计 是一个多功能的在线设计和创意平台,提供广泛的设计工具和资源,以满足不同用户的需求。从专业的图形设计师到普通用户,无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑,稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合,帮助用户轻松实现创意设计。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号