适应多场景的疲劳状态和分心行为实时检测系统.pdf

摘 要 疲劳是生活中常见的一种主观不适感觉。研究表明，当人体呈现出疲劳状态 时，其心血管和神经功能会产生相应的变化，可能会导致精神涣散、注意力难以 集中、工作效率下降、理解事物混淆等不良反应；如果身体处于过度疲劳状态， 就有可能造成人为失误，产生不可挽回的后果。与之相似，分心则是指一个人的 心理活动在必要的时间内不能充分地指向和集中，或者完全离开当前应该指向和 集中的事物而转移到无关的事物上去的心理状态。分心严重时，产生的负面影响 同样不可忽视。由此可见，建立一套完善且适用于多场景的疲劳状态和分心行为 检测系统的现实意义是不容小觑的。 本文在完成课题调研的基础上，对比借鉴了相关文献，研发了一套实时疲劳 状态和分心行为判别的非接触式预警系统。文中首先通过深度神经网络引出轻量 化卷积神经网络，对现今主流网络的基本原理和结构进行了深入的分析。随后， 本文使用Dlib 将脸部位置检测器和脸部特征位置检测器应用在疲劳状态识别模 型中，实现对使用者面部关键特征点的实时精准定位。本文设计了一种基于面部 特征融合策略进行疲劳状态判定的实时检测预警模型，将PERCLOS 作为衡量疲 劳程度的重要检测指标。该模型可以通过眼部特征和嘴部特征联合对被测者的疲 劳程度进行判定，避免了接触式检测设备可能产生的干扰，具有较高的实时性和 较好的准确性。同时，为解决移动端设备算力较低的问题，引入轻量级的YOLOv5 网络，通过对模型进行训练，对使用者可能产生的分心行为进行实时捕捉和预警。 最后，利用Pyside2 实现了一套完整的疲劳状态和分心行为检测可视化系统。经 过测试验证了该系统的实用性和稳健性，可以在多种复杂场景中取得较好的效 果。 关键词：疲劳状态检测，分心行为检测，深度学习，YOLOv5 I 目 录 摘要I ABSTRACT II 第一章 绪论1 1.1研究背景与意义 1 1.2研究现状2 1.2.1疲劳检测研究现状 2 1.2.2分心检测研究现状 4 1.3研究内容5 第二章 相关技术与理论基础7 2.1神经网络与深度学习 7 2.2卷积神经网络8 2.2.1 数据输入层 9 2.2.2 卷积层 9 2.2.3 激活函数 11 2.2.4 池化层 11 2.2.5 全连接层 12 2.3 OpenCV 12 第三章 疲劳状态检测14 3.1疲劳相关概念的描述 14 3.2人脸定位 14 3.3基于眼部特征的疲劳检测 16 3.3.1眼部特征定位 16 3.3.2基于眼部特征的疲劳检测模型搭建 16 3.4基于嘴部特征的疲劳检测 18 3.4.1嘴部特征定位 18 3.4.2基于嘴部特征的疲劳检测模型搭建 18 3.5疲劳状态判定20 3.5.1 PERCLOS标准 20 3.5.2基于多特征融合策略的复杂场景疲劳状态判断模型 20 第四章 分心行为检测23 4.1分心问题描述23 4.2 YOLOv5算法简介24 4.2.1网络结构 24 IV 4.2.2输入端 24 4.2.3 Backbone 25 4.2.4 Neck 26 4.2.5输出端 27 4.3基于YOLOv5s的分心检测模型搭建28 4.3.1数据集建立和预处理 28