voxelgpt - 自然语言驱动的计算机视觉数据查询插件

项目介绍：VoxelGPT

你想在无需编写代码的情况下搜索你的图像或视频吗？你希望通过简单的英文就能从数据中获取见解吗？现在，这一切都可以实现了！VoxelGPT 是一个强大的工具，它结合了大语言模型（LLMs）和大多模态模型（LMMs）与 FiftyOne 的计算机视觉查询语言，让你可以使用自然语言对数据进行筛选、排序、语义切片，并提出问题。即便是需要对数据集进行计算，它也能帮你完成，但这需要你的授权。

体验 VoxelGPT

你可以通过 gpt.fiftyone.ai 进行线上体验。

VoxelGPT 的功能

VoxelGPT 能处理以下类型的查询：

数据集查询
计算查询
FiftyOne 库查询
工作空间查询
通用机器学习查询

当你向 VoxelGPT 提问时，它会根据你的意图来判断是哪种类型的查询。如果它不确定，会请你进一步澄清。

数据集查询

VoxelGPT 能够帮你进行以下数据集查询：

查询数据集的结构、字段以及执行过的运行
创建数据的过滤视图
在 FiftyOne App 中设置视图
对整个数据集或视图进行聚合

例如，你可以让 VoxelGPT 搜索数据集并提问：

展示 10 个随机样本
展示高置信度的错误预测
我是否有包含多个人物的图像？
含猫的图像的平均亮度是多少？

计算查询

VoxelGPT 可以对数据集执行各种计算任务，包括：计算图像亮度、评估样本的独特性、生成相似性索引、进行聚类等。如果不希望 VoxelGPT 执行计算，可以通过设置环境变量来禁止：

export VOXELGPT_ALLOW_COMPUTATIONS=false

FiftyOne 库查询

VoxelGPT 不仅是编程助手，同时也是一个教育工具。它可以帮助用户查阅 FiftyOne 的完整文档、博客文章以及 YouTube 频道中的视频内容。例如，用户可以询问如何从 FiftyOne Zoo 加载数据集，或是否可以将数据集导出为 COCO 格式。

工作空间查询

VoxelGPT 可以回答关于当前运行 FiveOne 环境的各种问题，例如已下载的其他数据集、已安装的插件、FiftyOne 配置等。

通用机器学习查询

VoxelGPT 能回答计算机视觉、机器学习以及数据科学的基础问题。例如，用户可以询问精确度与召回率之间的区别，或者如何在图像中检测人脸。

安装与使用

安装 VoxelGPT 非常简单，首先需要安装 FiftyOne，然后申请 OpenAI API 密钥。可以选择将 VoxelGPT 安装为插件，或者直接在本地克隆代码库进行开发。

pip install fiftyone
export OPENAI_API_KEY=你的API密钥

加入社区

若你希望成为一个快速成长的视觉人工智能社区的一员，欢迎加入 FiftyOne Slack Community！在这里，你可以与其他工程师、研究人员及实践者一同交流学习。

关于 FiftyOne

FiftyOne 是一个开源库，致力于构建高质量的数据集和计算机视觉模型。它是驱动 VoxelGPT 的引擎。

感谢你的关注！如果你觉得这个项目不错，请给我们一个 star 支持！😊