这不是 Google 官方支持的产品。

CAD-Estate 数据集：真实房地产场景 RGB 视频的 3D 物体和房间布局注释

当前最先进的 3D 场景理解方法依赖于大规模标注数据集。为此，我们提出 CAD-Estate，这是一个包含复杂多物体 RGB 视频的大型数据集，每个视频都带有全局一致的 3D 物体表示注释，以及由 3D 结构元素（如墙、地板和天花板）组成的房间布局。

我们用数据库中的 CAD 模型为每个物体进行注释，并通过 9 自由度的姿态变换将其放置在场景的 3D 坐标系中。我们的方法 [1] 适用于常见的 RGB 视频，无需深度传感器。许多步骤是自动完成的，人工完成的任务简单明确，只需在 3D 空间中进行有限的推理。这使得众包成为可能，从而让我们能够构建一个大规模数据集。CAD-Estate 提供了 20K 个视频的 3D 表示中放置的 12K 个独特 CAD 模型的 101K 个实例。CAD-Estate 的视频提供了房地产物业的广泛复杂视图。它们对自动场景理解方法构成了巨大挑战，因为每帧包含众多物体，其中许多距离相机较远，因此看起来很小。与现有最大的真实场景 CAD 模型注释数据集 Scan2CAD 相比，CAD-Estate 的实例数量多 7 倍，独特 CAD 模型数量多 4 倍。

我们从易于人工标注的 2D 分割掩码生成通用 3D 房间布局。我们的方法 [2] 自动从注释中重建结构元素的 3D 平面方程和空间范围，并在适当的接触边缘连接相邻元素。CAD-Estate 为 2246 个视频提供了房间布局。这些视频包含复杂的拓扑结构，有通过开放门连接的多个房间，通过楼梯连接的多个楼层，以及具有倾斜结构元素的通用几何形状。我们的自动质量控制程序保证了生成的 3D 房间布局的高质量。

该数据集包含 [1] 和 [2] 中描述的两个数据集。

物体数据集示例 [1]

布局数据集示例 [2]

如何使用数据集

首先，您需要按照这里的说明下载数据集和附带的源代码。以下文本假设代码位于 ${WORKDIR}/cad_estate，数据集位于 ${WORKDIR}/cad_estate/data。请按照说明首先设置环境变量 WORKDIR。

您可以使用附带的 Jupyter 笔记本可视化单个场景： objects_notebook.ipynb 和 room_structure_notebook.ipynb。 要为它们启动 Jupyter 内核，请使用：

cd ${WORKDIR}/cad_estate/src
jupyter notebook

内核需要支持 CUDA 的 GPU。

还有两个 PyTorch 数据集类用于读取视频帧及其物体或房间结构注释。您可以在源代码中找到更多详细信息。

最后，此文件描述了 CAD-Estate 注释文件的结构。

如何引用

如果使用物体注释，请引用 [1,3,4]。CAD-Estate 包含将 ShapeNet [3] 模型对齐到 RealEstate10K 视频 [4] 上的物体注释 [1]。如果使用 3D 房间布局，请引用 [2,4]。CAD-Estate 包含 RealEstate10K 视频 [4] 的 3D 房间布局 [2]。

[1] K.-K. Maninis, S. Popov, M. Nießner, and V. Ferrari. CAD-Estate: Large-scale CAD Model Annotation in RGB Videos. In ICCV, 2023 (to appear).
[2] D. Rozumnyi, S. Popov, K.-K. Maninis, M. Nießner, V. Ferrari. Estimating Generic 3D Room Structures from 2D Annotations. In NeurIPS, 2023.
[3] A. Chang, T. Funkhouser, L. Guibas, P. Hanrahan, Q. Huang, Z. Li, S. Savarese, M. Savva, S. Song, H. Su, J. Xiao, L. Yi, and Fisher Yu. ShapeNet: An Information-Rich 3D Model Repository. arXiv preprint, 2015.
[4] T. Zhou, R. Tucker, J. Flynn, G. Fyffe, and N. Snavely. Stereo Magnification: Learning view synthesis using multiplane images. In SIGGRAPH, 2018.