#3D环境
相关项目
LL3DA
LL3DA是一种大型语言3D助手，能够在复杂的3D环境中响应视觉和文本交互。现有的多模态模型在3D场景理解中的挑战使得LL3DA采用点云直接作为输入，从而减少计算负担并提升性能。实验结果表明，LL3DA在3D密集描述和3D问答任务上优于其他3D视觉语言模型。其开源代码和预训练模型权重允许用户训练定制模型，并进一步拓展到更大规模的3D视觉语言基准上。
MultiPLY
MultiPLY是一个多感官交互式大语言模型，在3D环境中能主动与物体交互并收集视觉、听觉、触觉和热感信息。它将多感官交互数据整合到语言模型中，建立词语、行为和感知间的关联。该模型采用物体中心表示，通过执行动作揭示物体的多感官细节，为自然语言处理和人工智能研究提供新思路。
janusweb
JanusWeb是一个开源的Web框架，用于开发跨平台社交虚拟现实应用。该框架支持桌面、移动和VR设备，提供实时协作、3D音频和多种输入方式。基于WebGL和Three.js技术，支持Oculus Rift、HTC Vive等主流VR设备。开发者可使用HTML和JavaScript构建3D环境，支持导入主流3D文件格式，并提供API进行定制。内置网络功能便于开发多人在线虚拟环境，集成游戏手柄、Leap Motion等外设支持。JanusWeb为虚拟现实内容创作提供了开放且可扩展的开发平台，适合各类虚拟现实应用的快速开发和原型设计。