SimpleView - 高效点云形状分类的新基线方法

重新审视点云形状分类：一个简单而有效的基线方法
Ankit Goyal, Hei Law, Bowei Liu, Alejandro Newell, Jia Deng
国际机器学习会议 (ICML), 2021

如果您在研究中发现我们的工作有用，请考虑引用：

@article{goyal2021revisiting,
  title={Revisiting Point Cloud Shape Classification with a Simple and Effective Baseline},
  author={Goyal, Ankit and Law, Hei and Liu, Bowei and Newell, Alejandro and Deng, Jia},
  journal={International Conference on Machine Learning},
  year={2021}
}

开始使用

首先克隆仓库。我们将包含代码的目录称为SimpleView。

git clone git@github.com:princeton-vl/SimpleView.git

要求

代码在Linux操作系统上测试，Python版本为3.7.5，CUDA版本为10.0，CuDNN版本为7.6，GCC版本为5.4。我们建议使用这些版本，尤其是在安装pointnet++自定义CUDA模块时。

安装库

我们建议您首先安装Anaconda并创建一个虚拟环境。

conda create --name simpleview python=3.7.5

激活虚拟环境并安装库。确保您位于SimpleView目录中。

conda activate simpleview
pip install -r requirements.txt
conda install sed  # 用于下载数据和预训练模型

对于PointNet++，我们需要安装自定义CUDA模块。确保在此步骤中可以访问GPU。您可能需要根据您的GPU型号设置适当的TORCH_CUDA_ARCH_LIST环境变量。以下命令适用于大多数情况：export TORCH_CUDA_ARCH_LIST="6.0;6.1;6.2;7.0;7.5"。但是，如果安装失败，请检查TORCH_CUDA_ARCH_LIST是否正确设置。更多详细信息可以在这里找到。

cd pointnet2_pyt && pip install -e . && cd ..

下载数据集和预训练模型

确保您位于SimpleView目录中。download.sh脚本可用于下载所有数据和预训练模型。它还会将它们放置在正确的位置。首先，使用以下命令为download.sh脚本提供执行权限。

chmod +x download.sh

要下载ModelNet40，请执行以下命令。这将下载与pointnet++一起发布的ModelNet40点云数据集以及我们工作中使用的验证集。

./download.sh modelnet40

要下载预训练模型，请执行以下命令。

./download.sh pretrained

代码组织

SimpleView/models：PyTorch中各种模型的代码。
SimpleView/configs：各种模型的配置文件。
SimpleView/main.py：训练和测试任何模型。
SimpleView/configs.py：不同模型和数据加载器的超参数。
SimpleView/dataloader.py：不同数据加载器变体的代码。
SimpleView/*_utils.py：各种实用函数的代码。

ScanObjectNN

我们在ScanObjectNN上进行实验的代码可以在此仓库的ScanObjectNN/SimpleView中找到。更多详细信息请参阅ScanObjectNN/SimpleView中的README.md。

运行实验

训练和配置文件

要训练或测试任何模型，我们使用main.py脚本。运行此脚本的格式如下：

python main.py --exp-config <配置文件路径>

配置文件命名为 <协议>_<模型名称><_额外信息>_run_<种子>.yaml (<协议> ∈ [dgcnn, pointnet2, rscnn]; <模型名称> ∈ [dgcnn, pointnet2, rscnn, pointnet, simpleview]; <_额外信息> ∈ ['',valid,0.5,0.25])。例如，在DGCNN协议下运行PointNet++实验的种子为1的配置文件为 dgcnn_pointnet2_run_1.yaml。要使用不同的种子运行新实验，需要在配置文件中更改 SEED 参数。对于所有实验（包括验证集），我们使用不同的种子进行4次运行。

如论文所述，对于PointNet++和SimpleView协议，我们需要先在验证集上运行实验以调整训练轮数。这可以通过先运行 <pointnet2/dgcnn>_<模型名称>_valid_run_<种子>.yaml 实验，然后运行 <pointnet2/dgcnn>_<模型名称>_run_<种子>.yaml 实验来完成。根据在验证集上获得最佳性能的训练轮数，可以使用在完整训练集上训练的模型来获得最终的测试性能。

要在部分训练集上训练模型（表7），使用名为 dgcnn_<模型名称>_valid_<0.25/0.5>_run_<种子>.yaml 和 <dgcnn>_<模型名称>_<0.25/0.5>_run_<种子>.yaml 的配置。

即使使用相同的种子，结果也可能略有不同，这是由于为加快cuDNN操作而引入的随机化。更多详情可以在这里找到

SimpleView协议

要在SimpleView协议中运行实验，有两个阶段。

首先在验证集上调整训练轮数。这是使用 dgcnn_<模型名称>_valid_run_<种子>.yaml 配置完成的。在每25个训练轮评估一次，找出在验证集上表现最佳的训练轮数。
使用 dgcnn_<模型名称>_run_<种子>.yaml 配置在完整训练集上训练模型。使用在经过微调的训练轮数下在测试集上的性能作为最终性能。

评估预训练模型

我们提供了预训练模型。可以使用 ./download pretrained 命令下载，存储在 SimpleView/pretrained 文件夹中。要测试预训练模型，命令格式如下。

python main.py --entry <test/rscnn_vote/pn2_vote> --model-path pretrained/<配置名称>/<模型名称>.pth --exp-config configs/<配置名称>.yaml

我们在 eval_models.sh 脚本中列出了评估命令。例如，要评估SimpleView协议上的模型，使用这里的命令。注意，对于SimpleView和Pointnet2协议，模型路径的名称格式为 model_<轮数标识>.pth。这里的 轮数标识 表示在验证集上调整的训练轮数。

发布的预训练模型在ModelNet40上的性能

协议 →	DGCNN - Smooth	DCGNN - CE	RSCNN - No Vote	PointNet - No Vote	SimpleView
方法↓	(表2, 列7)	(表2, 列6)	(表2, 列5)	(表2, 列2)	(表4, 列2)
SimpleView	93.9	93.2	92.7	90.8	93.3
PointNet++	93.0	92.8	92.6	89.7	92.6
DGCNN	92.6	91.8	92.2	89.5	92.0
RSCNN	92.3	92.0	92.2	89.4	91.6
PointNet	90.7	90.0	89.7	88.8	90.1

致谢

我们要感谢以下仓库的作者分享他们的代码。

PointNet: 用于3D分类和分割的点集深度学习：1, 2
PointNet++: 度量空间中点集的深层层次特征学习：1, 2
Relation-Shape卷积神经网络用于点云分析：1
用于点云学习的动态图CNN：1