王国栋1,2,3，王增才1,2,3，范佳城1,2,3
(1.山东大学机械工程学院，山东 济南〓250061)
(2.山东大学高效洁净机械制造实验室教育部重点实验室，山东 济南〓250061)
(3.山东大学机械基础实验教学中心国家级实验教学示范中心，山东 济南〓250061)
〖HT5H〗摘要：〖HT5K〗驾驶员眼睛状态检测是驾驶员疲劳检测的重要组成部分。为有效解决实际驾驶环境中驾驶员眼睛状态检测问题，提出了一种基于深度融合残差网络的方法。该方法将深度神经网络与深度卷积神经网络相融合，利用深度神经网络对驾驶员眼睛特征进行识别，利用深度卷积神经网络对驾驶员眼睛图像进行分析，最终根据二者检测结果的加权平均值对实际驾驶环境下驾驶员眼睛状态做出判定。模型中深度卷积神经网络部分在多通道卷积的基础上，结合了残差网络和深度模型压缩策略，提升眼睛状态检测精度的同时提高了检测速度。相关实验结果表明，该方法在实验环境和实际环境下与其他已有的方法相比检测精度更高、计算速度更快。
关键词：眼睛状态检测；深度神经网络；卷积神经网络；残差网络；深度模型压缩策略
中图分类号：TP391.4〓〓〓文献标识码：A〓〓〓文章编号：2095-509X(2021)09-0097-05

驾驶员眼睛状态检测是驾驶员疲劳检测的重要组成部分，有效的眼睛状态检测算法为驾驶员眨眼频率及闭眼时间等与疲劳相关的眼部参数的计算提供了基础。目前用于眼睛状态检测的方法包括4种：基于运动的眼睛状态检测［1］、基于特征的眼睛状态检测［2-3］、基于外观的眼睛状态检测［4-5］和基于深度学习的眼睛状态检测［6-7］。基于运动的眼睛状态检测方法通过检测眼睛视频中眼睑运动的时空特征对眼睛状态进行检测。基于特征的眼睛状态检测方法通过模板匹配和眼部特征实现对眼睛状态的检测。 这两种方法在实际运用中鲁棒性较差，眼部图像质量的好坏会严重影响检测准确率。基于外观的眼睛状态检测方法通过提取眼部信息对眼睛状态进行检测。文献［4］提出了多尺度直方图（MultiHPOG）以用于检测眼睛状态，该方法需要手动提取眼睛特征，此过程会消耗实验人员大量时间。随着深度学习的迅速发展［8-9］，一些基于深度学习的方法相继被提出，其通过深度卷积神经网络对眼睛图像进行信息分析，最终通过分类器对眼睛状态进行判别。文献［6］建立了深度集成神经网络（DINN）用于检测眼睛状态。文献［7］〖CM(21*2〗提出了多尺度汇集卷积神经网络（MSP-Net）用〖CM)〗
〖LL〗
于检测眼睛状态。然而基于深度学习的方法由
于其计算量较大、参数量较多，降低了检测速度，因此限制了其在实际环境中的应用。为此，本文提出了深度融合残差网络（deep fusion residual network，DF-ResNet），用于在实际驾驶环境中快速、准确地检测驾驶员的眼睛状态。

1〓深度融合残差网络框架
本文提出的整体网络架构如图1所示。首先对驾驶员面部图像进行人脸对齐，然后提取眼睛特征点坐标值并裁剪出眼睛区域图像，最后将经过数据预处理后的特征与图像输入到预先训练好的DF-ResNet网络进行眼睛状态检测。

1.1〓眼睛区域裁剪与特征提取
在进行驾驶员眼睛状态识别时，神经网络的输入只需要驾驶员眼睛区域图像及特征即可，因此需


基金项目：山东省自然科学基金资助项目（ZR2018MEE015）
作者简介：王国栋（1993—），男，硕士研究生，主要研究方向为计算机视觉、深度学习、驾驶员疲劳检测，