hloc - 分层定位工具箱

这是 hloc，一个用于最先进的6自由度视觉定位的模块化工具箱。它实现了分层定位，利用图像检索和特征匹配，具有快速、准确和可扩展的特点。这个代码库结合并轻松实现了多年来在图像匹配和运动结构重建方面的研究成果。

使用 hloc，你可以：

• 在多个室内和室外视觉定位基准测试中复现最先进的结果
• 使用SuperPoint+SuperGlue进行运动结构重建，以便用你自己的数据集进行定位
• 评估你自己的局部特征或图像检索用于视觉定位
• 实现新的定位流程并轻松调试 🔥

分层定位同时使用图像检索和特征匹配

快速开始 ➡️

直接在你的浏览器中使用运动结构重建构建3D地图，并定位任何互联网图像！你现在可以在Google Colab中免费使用GPU运行hloc和COLMAP。 笔记本demo.ipynb展示了如何仅需几个步骤就能运行SfM和定位。尝试使用你自己的数据，并告诉我们结果！

安装

hloc需要Python >=3.7和PyTorch >=1.1。在本地安装该包会自动拉取其他依赖项：

git clone --recursive https://github.com/cvg/Hierarchical-Localization/
cd Hierarchical-Localization/
python -m pip install -e .

所有依赖项都列在requirements.txt中。从hloc-v1.3版本开始，不再需要安装COLMAP。 这个仓库包含了外部局部特征作为git子模块 - 别忘了使用git submodule update --init --recursive拉取子模块。

我们还提供了一个Docker镜像：

docker build -t hloc:latest .
docker run -it --rm -p 8888:8888 hloc:latest  # 对于GPU支持，添加 `--runtime=nvidia`
jupyter notebook --ip 0.0.0.0 --port 8888 --no-browser --allow-root

通用流程

该工具箱由脚本组成，大致执行以下步骤：

1. 为所有数据库和查询图像提取局部特征，如SuperPoint或DISK
2. 构建参考3D SfM模型
   1. 找到共视的数据库图像，通过检索或先前的SfM模型
   2. 使用SuperGlue或更快的LightGlue匹配这些数据库对
   3. 使用COLMAP三角测量新的SfM模型
3. 使用检索找到与每个查询相关的数据库图像
4. 匹配查询图像
5. 运行定位
6. 可视化和调试

对于支持的数据集，定位可以在visuallocalization.net上进行评估。当有3D激光雷达扫描可用时，如室内数据集InLoc，可以跳过步骤2。

工具箱结构：

• hloc/*.py：顶级脚本
• hloc/extractors/：特征提取器接口
• hloc/matchers/：特征匹配器接口
• hloc/pipelines/：多个数据集的完整流程

hloc可以作为外部包导入，使用import hloc，或从命令行调用：

python -m hloc.name_of_script --arg1 --arg2

任务

我们提供了使用Aachen和InLoc进行定位的分步指南，以及使用SfM为你自己的数据生成参考位姿。只需下载数据集，你就可以开始了！

Aachen - 室外定位

查看pipeline_Aachen.ipynb，了解使用Aachen进行定位的分步指南。尝试可视化，试用新的局部特征或匹配器，玩得开心！不喜欢笔记本？你也可以从命令行运行所有脚本。

InLoc - 室内定位

笔记本pipeline_InLoc.ipynb展示了使用InLoc进行定位的步骤。由于不需要3D SfM模型，这个过程要简单得多。

从头开始的SfM重建

我们在pipeline_SfM.ipynb中展示了如何为一组无序图像运行3D重建。这会生成参考位姿，以及适合使用与Aachen相同的流程进行定位的精美稀疏3D模型。

结果

• 支持的局部特征提取器：SuperPoint、DISK、D2-Net、SIFT和R2D2。
• 支持的特征匹配器：SuperGlue、其更快的后续版本LightGlue，以及具有比率测试、距离测试和/或相互检查的最近邻搜索。hloc还支持使用LoFTR进行密集匹配。
• 支持的图像检索：NetVLAD、AP-GeM/DIR、OpenIBL、CosPlace和EigenPlaces。

使用NetVLAD进行检索，我们获得了以下最佳结果：

查看 visuallocalization.net/benchmark 获取更多详情和其他基准。

支持的数据集

我们在 hloc/pipelines/ 中提供了脚本，用于在以下数据集上运行重建和定位：Aachen Day-Night（v1.0 和 v1.1）、InLoc、Extended CMU Seasons、RobotCar Seasons、4Seasons、Cambridge Landmarks 和 7-Scenes。例如，按照此处给出的说明下载数据集后，我们可以使用以下命令运行 Aachen Day-Night 管道与 SuperPoint+SuperGlue：

python -m hloc.pipelines.Aachen.pipeline [--outputs ./outputs/aachen]

BibTex 引用

如果您在出版物中报告上述任何结果，或使用此处提供的任何工具，请考虑同时引用 Hierarchical Localization 和 SuperGlue 论文：

@inproceedings{sarlin2019coarse,
  title     = {From Coarse to Fine: Robust Hierarchical Localization at Large Scale},
  author    = {Paul-Edouard Sarlin and
               Cesar Cadena and
               Roland Siegwart and
               Marcin Dymczyk},
  booktitle = {CVPR},
  year      = {2019}
}

@inproceedings{sarlin2020superglue,
  title     = {{SuperGlue}: Learning Feature Matching with Graph Neural Networks},
  author    = {Paul-Edouard Sarlin and
               Daniel DeTone and
               Tomasz Malisiewicz and
               Andrew Rabinovich},
  booktitle = {CVPR},
  year      = {2020},
}

更进一步

调试和可视化

使用您自己的局部特征或匹配器

使用您自己的图像检索

已知相机参数的重建

opts = dict(camera_model='SIMPLE_RADIAL', camera_params=','.join(map(str, (f, cx, cy, k))))
model = reconstruction.main(..., image_options=opts)

python -m hloc.reconstruction [...] --image_options camera_model='"SIMPLE_RADIAL"' camera_params='"256,256,256,0"'

reconstruction.main(..., mapper_options=dict(ba_refine_focal_length=False, ba_refine_extra_params=False))

python -m hloc.reconstruction [...] --mapper_options ba_refine_focal_length=False ba_refine_extra_params=False

版本