《数据标注工程——概念、方法、工具与案例》教学课件—07-3D点云标注.pptxVIP

人工智能技术应用核心课程系列教材;;点云，即“点”构成的“云”。一般来自激光雷达，也可以来自毫米波雷达，是利用激光雷达和雷达传感器生成的三维点的集合，可分为黑白和彩色两大类，如下图所示。 点云数据（point cloud data）一般由激光雷达等3D扫描设备获取空间若干点的信息，一般包括XYZ位置信息、RGB颜色信息和强度信息等，是一种多维度的复杂数据集合。;（1）双目视觉传感器：类似人的双眼，它是基于视差原理并由多幅图像获取物体三维几何信息的方法。双目立体视觉系统一般由双摄像机从不同角度同时获得被测物的两幅数字图像，或由单摄像机在不同时刻从不同角度获得被测物的两幅数字图像，并基于视差原理恢复出物体的三维几何信息，下图为双目视觉传感器实物图。 上图中，左右两侧的摄像头共同构成了双目视觉传感器。;（2）激光雷达：激光雷达（Light Detection And Ranging，LIDAR），是以发射激光束探测目标的位置、速度等特征量的雷达系统。其工作原理是向目标发射探测信号（激光束），然后将接收到的从目标反射回来的信号（目标回波）与发射信号进行比较，作适当处理后，就可获得目标的有关信息，如目标距离、方位、高度、速度、姿态、甚至形状等参数。激光雷达实物图如下图所示。 ;（3）深度体感设备Kinect：深度体感设备Kinect是一款类似三维摄像机仪器，具有实时动作追踪、图像识别、声音录入及辨别等功能。左右两边镜头分别是红外线发射器和CMOS红外线摄影机，识别的是一个深度场。其中每个像素颜色深浅表示该点距离摄像头的远近，距离摄像头较近的颜色较亮和深，距离摄像头较远的颜色较暗。Kinect实物图如下图所示。 ;（1）多视图三维重建：多视图重建是利用多张一个场景的不同视角图像来恢复出场景三维模型的方法，自然场景的多视图三维重建一直是计算机视觉领域的基本问题，有着广泛的应用。下图为多视图三维重建示意图。 ;（2）三维同步定位与地图构建（Simultaneous Localization And Mapping，SLAM）：主要用于解决移动机器人在未知环境中运行时定位导航与地图构建的问题，三维同步定位与地图构建示意图如下图所示。 ;（3）三维目标检测：与二维图像相比，3D点云数据的优势在于能够很好地表征物体的表面信息和一些深度信息。另外，由于3D点云数据的获取来源较多，因此对3D点云数据的研究得以迅速增长，进一步促进了使用深度学习实现3D点云目标检测，下图为三维目标检测示意图。。 ;（4）三维语义分割：三维（3D）语义分割在医学、自动驾驶、机器人和增强现实（AR）等许多领域的广泛应用，下图为三维语义分割示意图。 ;3D点云多以pcd、ply、stl等格式文件储存，编码方式为ASCII码、二进制。格式由设备而异，但都可以通过后期处理成标准的pcl文件格式*.pcd。目前可以识别ASCII，二进制，二进制压缩3种pcd格式。下表为3D点云存储格式及数据类型清单。 ;（1）悉尼城市目标数据集：这个数据集包含用Velodyne HDL-64E LIDAR扫描的各种常见城市道路对象，收集于澳大利亚悉尼的中央商务区（CBD）。含有631个单独的扫描物体，包括车辆、行人、广告标志和树木等，下图为数据集样例。 ;（2）大规模点云分类基准数据集：该数据集提供了一个大的自然场景标记的3D点云数据集，总计超过40亿点。涵盖了各种各样的城市场景：教堂、街道、铁路轨道、广场、村庄、足球场、城堡等等。下图为数据集样例。 ;（3）RGB-D对象数据集：该数据集是300个常见的家庭对象的大数据集。该数据集是使用Kinect风格的3D相机记录的，该相机以30Hz记录同步和对齐的640x480RGB和深度图像。下图为数据集样例。 ;（4）纽约大学深度数据集：该数据集包括NYU-Depth V1数据集和NYU-Depth V2数据集，数据由来自各种室内场景的视频序列组成，这些视频序列由来自微软 Kinect的RGB和深度摄像机。下图为数据集样例。 ;（5）KITTI标准数据集：该数据集利用KIT的无人车平台采集的大量城市环境的点云数据集（KITTI），这个数据集不仅有雷达、图像、GPS、INS的数据，而且有经过人工标记的分割跟踪结果，可以用来客观的评价大范围三维建模和精细分类的效果和性能，下图为数据集样例。 ;;3D点云标注能够实现3D单帧标注、2D-3D单帧映射、3D追踪标注等功能： （1）3D单帧标注：可以提供点云或者点云与时间对齐的图片，但只标注点云。 （2）2D-3D单帧映射：2D和3D同一物体ID相同。 （3）3D追踪标注：追踪同一物体ID一致。 注：2D-3D映射需要提供校准信息，每个摄像头均要提供（摄像头的内参和到激光雷达坐标映射的外参）。 ;3D点云标注工具界面