基于计算机视觉的车间生产行为智能管控及其应用.pdfVIP

产业应用

AI-VIEW

2023年第1期

基于计算机视觉的车间生产

行为智能管控及其应用

□/

文刘庭煜，翁陈熠，蒋群艳，焦磊，倪中华*

（东南大学机械工程学院，南京210096）

摘要：人是智能制造系统中能动性和自由度最高的要素之一，高效、准确地实现车间工作人员

生产行为的智能管控对于智能制造系统的稳定运行有着重要的应用价值。本文首先以宏观管控、

微观管控两个层次讨论了车间生产行为智能管控的核心需求；再从感知、处理、响应三个层面

介绍了基于计算机视觉技术的车间生产行为智能管控系统的整体架构；接着结合科研项目实践，

给出了将计算机视觉与车间生产行为智能管控相结合的应用重点案例；最后从行为预测以及数

字孪生技术的角度探讨了车间生产行为智能管控技术未来的发展趋势。

关键词：车间生产行为；行为识别；计算机视觉；智能管控

中图分类号：TP305；TP18文献标志码：A文章编号：2096-5036(2023)01-0036-09

DOI：10.16453/j.2096-5036.2023.01.005

0引言

近年来，人工智能技术与制造技术不断地深度融合发展，使得制造业的生产模式发

生了深刻的变革，智能制造的发展正处于重要的战略转型时期。制造是人类运用工具将

原材料转化为能够满足生产生活需要的产品和服务的过程，智能制造的发展有效增强了

生产活动的效率和质量。时至今日，人仍然是生产活动中最具自主性、创造性、可感知

性的因素之一，并将在下一代智能制造过程中的自主决策过程发挥更大的作用[1]。作为

制造业的基础单元，车间的数字化和智能化是实现智能制造的先决条件。如何准确、实

时管控人员在车间内的生产行为是当下智能制造领域的主要研究目标和发展方向[2-6]。

基于HCPS[7]的智能制造发展理论提出，人是物理系统和智能系统的设计者、操作

者、监督者，也是智能制造系统的服务对象。因此，通过传感器采集人体行为的结构化

数据，并基于智能算法理解其语义信息，最终实现智能制造系统对人员生产行为的精确

管控，对于智能制造系统的稳定运行有着重要的应用价值。在此过程中，智能制造系统

36

基于计算机视觉的车间生产行为智能管控及其应用

需要从人机协作[8,9]和人体行为理解两个方面实现人员生产行为的指导和规范。其中，

“指导”表示系统指示人员按照工艺要求完成相应工作；“规范”则是系统对人员错误、

危险的行为进行识别和警示。为实现上述目标，让计算机准确理解人的生产行为是不可

避免的核心问题。

人员的行为管控已

历经百年发展，目前最为

有效且常见的管理手段仍

然是用摄像机记录人员

行为，再指定人员目视监

控。然而，研究结果表明，

目前主流的视频监控系统

中，监控室内的屏幕个数

图1

基于计算机视觉的车间行为感知-计算-决策控制

和摄像机个数比例为1:4

到1:7.8，许多摄像机并没有人工值守。且大部分的生产车间都存在范围广、机器多、

资源堆放复杂等情况，监控人员很难从一而终地专注于每一块监控屏幕。近年来，借助

高性能计算机强大的数据分析和数字图像处理技术，车间的人员生产行为监控逐渐由监

控人员主动观测和识别向基于计算机视觉的智能人员生产行为识别转变[10,11]。早期的

方法主要基于RGB视频数据识别人员行为，如光流法、隐马尔可夫模型等，也存在分

析二维图像中人员关节点的深度学习框架（OpenPose）。随着Kinect、RealSense等

3D视觉传感设备的逐渐普及，3D视觉强大的表达能力使得基于3D视觉提取人体三维

骨架关节点的行为识别技术得到了较大的发展[12]，有效地促进了车间生产行为智能管

控系统的发展与应用。

本文围绕智能制造车间内的人员生产行为，从感知、处理、响应三个环节介绍了基

于计算机视觉技术的车间生产行为智能管控系统构成，以宏观、微观两个层面分析了车

间智能管控的核心需求，讨论了车间生产行为智能管控的未来发展，为推动智能制造战

略化转