Objectron: 谷歌开源的大规模3D物体检测数据集与解决方案

Objectron:开启3D物体检测新纪元

在计算机视觉领域,3D物体检测一直是一个具有挑战性的问题。虽然2D物体检测技术已经相当成熟,但从2D图像中准确推断物体的3D信息仍然面临诸多困难。为了推动这一领域的发展,谷歌研究团队开发并开源了Objectron数据集和解决方案,为3D物体检测研究提供了强大的支持。

Objectron数据集:丰富多样的3D物体视频集

Objectron数据集是一个大规模的物体中心视频片段集合,包含了丰富的AR会话元数据。具体来说,该数据集包含:

15000个带注释的视频片段
400万张带注释的图像
9个日常物品类别:自行车、书籍、瓶子、相机、麦片盒、椅子、杯子、笔记本电脑和鞋子
来自5大洲10个国家的地理多样性样本

Objectron样本图

在每个视频片段中,相机会从不同角度围绕物体移动,捕捉其多个视角。除了高分辨率图像外,数据集还包含以下关键信息:

物体姿态:描述物体在3D空间中的位置、方向和尺寸
相机姿态:记录拍摄时相机的位置和朝向
稀疏点云:环境的3D点云表示
平面表面:周围环境中检测到的平面

这些丰富的元数据为研究人员提供了全面的3D场景理解,大大增强了数据集的价值和应用潜力。

创新的数据采集与标注方法

Objectron团队采用了创新的数据采集和标注方法,以高效地获取大规模高质量3D数据:

利用移动AR技术:借助ARCore和ARKit等移动AR平台,可以在拍摄过程中同时获取相机姿态、点云等AR会话数据。
专用3D标注工具:开发了一个分屏式标注工具,左侧显示带有3D边界框叠加的2D视频帧,右侧显示3D点云、相机位置和检测到的平面。标注人员可以在3D视图中绘制边界框,并在2D视图中验证其准确性。
静态物体传播:对于静态物体,只需在单个帧中进行标注,然后利用AR会话中的相机姿态信息将标注传播到所有帧,大大提高了效率。
AR合成数据生成:将虚拟物体放置到真实AR场景中,利用真实的相机姿态、平面和光照信息生成逼真的合成数据,进一步扩充数据集。

这些方法不仅提高了数据采集和标注的效率,还确保了数据的高质量和多样性。

Objectron 3D物体检测解决方案

除了数据集,Objectron项目还提供了一个完整的3D物体检测解决方案。该解决方案包括两种pipeline:

两阶段pipeline:
- 第一阶段:使用2D物体检测器找到物体的2D裁剪区域
- 第二阶段:对裁剪后的图像进行3D边界框估计
单阶段pipeline:
- 采用编码器-解码器架构,基于MobileNetv2
- 多任务学习方法,同时预测物体形状、检测和回归
- 使用EPnP算法恢复3D边界框

两种pipeline各有优势:两阶段pipeline速度更快,单阶段pipeline更适合检测多个物体。

为了提高实时性能和稳定性,解决方案还采用了检测+跟踪策略:

不需要每帧都运行神经网络
允许使用更重但更准确的模型
保持物体身份的连续性
减少预测抖动

这些技术使Objectron能够在移动设备上实现实时、稳定的3D物体检测。

广泛的应用前景

Objectron为3D物体检测研究提供了强大的数据和工具支持,有望推动该领域的快速发展。其潜在应用包括但不限于:

增强现实(AR):准确的3D物体检测可以实现更自然、逼真的AR体验。
机器人技术:帮助机器人更好地理解和操作3D环境中的物体。
自动驾驶:提高车辆对周围3D物体的感知能力。
计算机视觉:为各种3D视觉任务提供基础,如3D场景理解、3D物体跟踪等。
人机交互:支持更直观的基于3D手势的交互界面。

开放生态系统

Objectron项目采用开放的态度,为研究社区提供了丰富的资源:

开源数据集:完整的数据集可在Google Cloud Storage上免费获取。
数据处理工具:提供了解析注释、AR元数据的工具和示例代码。
预处理数据:包括用于训练的TFRecord格式数据。
评估指标:提供了基于3D IoU的评估脚本。
示例代码:包括在TensorFlow、PyTorch等框架中加载和使用数据的教程。
预训练模型:在MediaPipe框架中发布了基于该数据集训练的模型。

这种开放的生态系统极大地降低了研究者的入门门槛,有助于促进整个领域的协作与创新。

结语

Objectron项目为3D物体检测领域带来了突破性的进展。通过提供大规模、高质量的数据集和完整的技术解决方案,它为研究人员和开发者开启了探索3D视觉新前沿的大门。随着越来越多的研究者加入这个开放的生态系统,我们有理由期待在不久的将来,3D物体检测技术将在各个领域得到广泛应用,为我们的生活带来更多智能化、个性化的体验。

3D物体检测示例