基于3D视觉的机器人无序抓取系统 .pdfVIP

基于3D视觉的机器人无序抓取系统

摘要：机器视觉因其具有适应性好、柔性强、非接触等特点，被广泛用于自

动化生产线的工件尺寸检测、缺陷检测以及分拣中。使用机器视觉进行测量并配

合多关节机器人进行工件的分拣，可以提高作业效率，降低工人作业的劳动强度。

在自动化生产线中，零部件的抓取及安放，是一个非常重要的环节，也是目前自

动化产线消耗人力最大的一个环节。有些类型的工件，若使用机械振动分拣装置，

不仅可靠性低，而且振动噪声非常巨大，严重影响工人的身体健康。

关键字：3D视觉；机器人；无序抓取系统

0引言

随着科技的进步与发展，人们对自动化领域提出了无人工厂，高精度装配等

理念，这些理念的核心作用就是降低人工参与度。而工业机器人的出现，一定程

度上满足了人们对自动化行业提出的要求。如今越来越多的工业机器人系统集成

了视觉接口，利用视觉技术配合机械手实现目标物体的定位，分类，检测。机器

视觉的核心就是将相机采集的图像进行处理，提取图像的特征信息，来判断图像

上层语义，进而替代人眼和人脑完成约定任务，甚至可以完成特殊环境下人眼无

法完成的任务。除此之外视觉技术还运用在虚拟现实，汽车导航，瑕疵检测等领

域。本文运用机械手与视觉技术的结合，将物料盒中的无序物料进行识别，定位，

并引导机械手进行抓取，有序放入物料盒中。

1系统的硬件组成与搭建

1）CCD相机：相机采用大华公司A3600MG18型号相机，使用千兆网卡与工控

机通讯，安装在物料盒，来料盒上方，与机械人末端下方。2）镜头：镜头采用

日本COMPUTAＲ公司的25mm标准镜头。3）计算机：采用研华公司的工控计算机，

软件运行环境为Window10，VisualStudio2017C#，CPU：Inteli5-4800，RAM：

12GB。4）光源：光源采用上海愷威光电科技的LED环形光，此款源可以减少相

机曝光时间，提高图像质量。5）机器人：采用雅马哈YK500-600XGL四轴机械手。

该机械手末端重复精度可达到0.005mm，编程简单，采用TCP/IP协议与工控机通

讯。

2视觉识别抓取技术的优点

当前，在机器视觉技术的基础上对于工业机器人的研究越来越广泛，并引起

了高度的关注，到目前为止，已经出现较多的科学技术成果，在实际生产中得到

了较好应用，此后，自动化的应用速度呈现出上升态势，传统工业生产模式不足

与缺陷日益显现出来，已经难于满足现代工业生产需求。一些企业还是用人工作

业方法来对产品不足和缺陷进行检测，如产品封箱、装箱、搬运等。人的体能有

限，当人体的能力达到极限时，也就到了疲劳期，就很容易出现错误，例如错检、

漏检，甚至操作失误的情况会大幅度提高，因此，也就不能确保产品在质量和数

量等方面的各项指标与要求。然而，机器视觉技术的应用，正好可以解决这个问

题，还适应了现代工业发展需求，因此，在工业自动化行业中，机器视觉技术便

成为了最佳应用方式，也是对传统作业方法有效改善与提升。

3视觉系统应用流程

3.13D相机参数设定

连接3D相机，根据工作场景光源环境实际情况，应用Mech_Eye软件设置和

调整3D相机参数，使3D相机获得清晰的目标工件2D图、深度图和点云视图。

3.2手眼标定

选择合适位置安装标定板，运行机器人3D标定程序，设置Mech-Hub软件与

工业机器人系统的通信参数，通过Mech－Viz软件手动操作机器人，获得工业机

器人的控制权，在Mech-Viz软件上设置3D相机及标定板参数，控制3D相机拍

照采集不同位姿的标定板数据，添加标定点列，计算标定结果，根据标定精度对

计算结果进行优化和误差分析，最后获取机器人与3D相机之间的位姿转换关系，

完成工业机器人与3D相机之间的手眼标定。

3.3深度学习标注训练

为了让视觉系统能准确地识别出目标工件，需要用3D相机拍摄采集目标工

件的图像数据，再通过深度学习标注训练工具软件，对不同类型的目标工件图像

进行分类识别深度学习，完成工件识别模型训练。具体操作要点如下。1)手动调

整不同角度的位姿，在保证图像质量的情况下，采集16张包含不同标签工件位

姿的图像。2)利用软件内置的图像标定工具，对每张图像进行标注。3)完成工件

识别模型训练，导出目标工件模型文件。

3.4编写Mech-Vision相机识别程序

将训练完成的模型分别导入至Mech-Visi