机器人操作系统ROS应用实践 课件 第10、11章 移动机器人视觉SLAM、 ROS 2.0介绍与编程基础.pptx

第十章移动机器人视觉SLAM机器人操作系统ROS应用实践 目录content视觉SLAM框架10.110.5ORB-SLAM算法10.2本章小结稠密建图10.3其他视觉SLAM算法或框架10.4 10.1视觉SLAM框架1视觉里程计视觉里程计关心相邻图像之间的相机运动，即两图像之间的运动关系。例如，观察图，我们会发现右图是左图向左旋转一定角度的结果。 10.1视觉SLAM框架1视觉里程计图像在计算机里用一个数值矩阵表示。这个矩阵里表达着什么东西，计算机毫无概念。而在视觉SLAM中，我们只能看到一个个像素，知道它们是某些空间点在相机的成像平面上投影的结果。所以，为了定量地估计相机的运动，必须先了解相机与空间点的几何关系。 10.1视觉SLAM框架1视觉里程计视觉里程计需要通过相邻帧的图像来估计相机的运动，并恢复场景的空间结构。视觉里程计是视觉SLAM框架的关键组成部分，其能把相邻时刻的图像运动“串”起来，构成机器人的运动轨迹，从而解决定位问题。另外，其能根据每个时刻的相机位置，计算出各像素对应的空间点的位置，从而得到地图。然而，仅通过视觉里程计来估计轨迹，将不可避免地出现累计漂移（Accumulating Drift）误差（简称累计误差）问题。这是由于视觉里程计（在最简单的情况下）只估计两个图像间运动，而每次估计都带有一定的误差，先前时刻的误差将会传递到下一时刻，导致经过一段时间后，估计的轨迹不再准确。 10.1视觉SLAM框架2非线性优化在移动机器人系统中，各个传感器都带有一定的噪声。有的传感器还会受磁场和温度的影响。所以，除解决“如何从图像中估计出相机运动”的问题之外，还要关心这个估计带有多大的噪声、这些噪声是如何从上一时刻传递到下一时刻的、当前的估计置信度有多大等问题。非线性优化要解决的问题是如何从这些带有噪声的数据中，估计机器人系统的状态，以及这个状态估计的不确定性有多大，即要进行最大后验概率（Maximum-a-Posteriori，MAP）估计，也称为空间状态不确定性估计（Spatial Uncertainty Estimation）。这里的状态既包括移动机器人自身的轨迹，也包括地图。 10.1视觉SLAM框架2非线性优化在移动机器人视觉SLAM框架中，前端给后端提供待优化的数据，以及这些数据的初始值，后端负责系统的优化过程，往往面对的只有数据，不必关心这些数据到底来自什么传感器。前端与计算机视觉研究领域更为相关，需要完成图像的特征点提取和匹配等，而后端则主要应用滤波与非线性优化算法。非线性优化是SLAM的重要组成部分，其本质是对运动主体自身和周围环境空间不确定性的估计，利用状态估计理论，把定位和建图的不确定性表达出来，然后去估计状态的均值和不确定性（方差）。 10.1视觉SLAM框架3回环检测回环检测，又称闭环检测，主要解决位置估计随时间漂移的问题。移动机器人经过一段时间的运动后回到了原点，但是由于存在累计误差，它的位置估计值却没有回到原点。如果可以让机器人知道“回到了原点”，或者把“原点”识别出来，再把位置估计值“拉”过去，那么就可以消除累计误差了，这就是回环检测。回环检测与“定位”和“建图”都有密切的关系。地图存在的一个重要意义是为了让移动机器人知道自己到达过的地方。为了实现回环检测，需要让机器人具有识别曾到达过的地方的能力。最简单的方法是，可以在场景中设置一个标志物（如二维码图片），只要移动机器人看到了这个标志物，就表示其回到了原点。但是，应用环境中可能会限制出现这种辅助标志物。 10.1视觉SLAM框架4建图建图是指构建地图的过程。地图是对环境的描述，根据不同的SLAM应用，地图的常见形式包括2D栅格地图、2D拓扑地图、3D点云地图（Point Cloud Map）和3D栅格地图等，如图所示。 10.1视觉SLAM框架4建图总体上，地图可以划分为尺度地图（Metric Map，也叫度量地图）、拓扑地图（Topological Map）和语义地图（Semantic Map）三种。尺度地图尺度地图上的每一点都可以用坐标来表示，它强调精确地表示地图中物体的位置，通常用稀疏（Sparse）与稠密（Dense）对它进行分类。稀疏地图进行一定程度的抽象，并不需要表达所有的物体。例如，可以选择一部分具有代表意义的物体，称为特征点，也称为路标（Landmark），那么一张稀疏地图就是由特征点组成的地图，而不是特征点的部分就可以忽略掉。而稠密地图着重于建模所有能看到的东西。 10.1视觉SLAM框架4建图总体上，地图可以划分为尺度地图（Metric Map，也叫度量地图）、拓扑地图（Topological Map）和语义地图（Semantic Map）三种。尺度地图2D尺度地图是由许多个小格子（Grid）组成的，3D尺度地图