3dv_tutorial - 开源3D视觉入门教程及OpenCV实践

3D视觉入门:面向所有人的教程

《3D视觉入门》是一个关于3D计算机视觉(又称几何视觉、视觉几何或多视图几何)的入门教程。它旨在帮助初学者理解3D视觉的基本理论,并使用OpenCV实现其应用。

除了教程幻灯片外,还提供了用于教育目的的示例代码。这些代码包括简单但有趣且实用的应用。示例代码尽可能简短(大多数__不超过100行__),以便清晰易懂。

克隆此仓库(代码和幻灯片): git clone https://github.com/mint-lab/3dv_tutorial.git
将此仓库复刻到你的Github: 点击这里
下载代码和幻灯片的ZIP文件: 点击这里
:memo: 如何运行Python示例代码
:memo: 如何运行C++示例代码

名称的由来

主标题《3D视觉入门》来自Yi Ma、Stefano Soatto、Jana Kosecka和Shankar S. Sastry的一本传奇著作。我们希望我们的教程能成为初学者进入3D视觉及其应用领域的第一张温和邀请函。
副标题"面向所有人"的灵感来自Kim教授的在线讲座(韩语)。我们的教程不仅面向学术界的学生和研究人员,也面向工业界的爱好者和开发人员。我们试图描述重要且典型的问题及其在OpenCV中的解决方案。我们希望读者无需严肃的数学背景就能轻松理解。

讲座幻灯片

示例代码

第1节. 引言 [幻灯片]
第2节. 单视图几何 [幻灯片]
- 2D入门
  - 3D旋转转换 [python]
- 针孔相机模型
  - 物体定位 [python] [cpp]
  - 图像形成 [python] [cpp]
- 几何畸变模型
  - 几何畸变可视化 [python]
  - 几何畸变校正 [python] [cpp] [结果视频]
- 相机标定
  - 相机标定 [python] [cpp]
- 绝对相机姿态估计(又称透视-n-点问题;PnP)
  - 姿态估计(棋盘格) [python] [cpp] [结果视频]
  - 姿态估计(书本) [python] [cpp]
  - 使用相机标定的姿态估计(书本) [python] [cpp]
  - 无初始$K$的相机标定姿态估计(书本) [python] [cpp] [结果视频]
第3节. 双视图几何 [幻灯片]
- 平面单应性
  - 透视畸变校正 [python] [cpp]
  - 平面图像拼接 [python] [cpp]
  - 2D视频稳定 [python] [cpp] [结果视频]
- 对极几何
  - 对极线可视化 [python]
- 相对相机姿态估计
  - 基础矩阵估计 [python]
  - 单目视觉里程计(对极版本) [python] [cpp] [结果视频]
- 三角测量
  - 三角测量 [python] [cpp]
第4节. 解决问题 [幻灯片]
- 解决3D视觉中的线性方程
  - 仿射变换估计 [python]
  - 平面单应性估计 [python]
    - 附录) 使用单应性的图像变形 [python]
基础矩阵估计 [python]
- 三角测量 [python]
- 求解3D视觉中的非线性方程
  - 绝对相机姿态估计 [python]
  - 相机标定 [python]
第5节寻找对应关系 [幻灯片]
- 特征点和描述符
  - Harris角点 [python]
  - SuperPoint [Github]
- 特征匹配和跟踪
  - 特征匹配比较 [python]
  - 使用KLT跟踪器进行特征跟踪 [python]
- 离群值剔除
  - 使用RANSAC进行直线拟合 [python] [cpp]
  - 使用M估计器进行直线拟合 [python] [cpp]
  - 使用RANSAC进行平面单应性估计 [python]
第6节多视图几何 [幻灯片]
- 束调整 [python] [cpp]
- 结构光从运动(SfM)
  - 全局SfM [python] [cpp]
  - 增量式SfM [python] [cpp]
第7节视觉SLAM和里程计 [幻灯片]