基于迁移学习和注意力机制的表情识别方法研究.pdf

摘要

人脸表情识别需要通过卷积神经网络对大量数据进行训练，但是许多公开数

据集人脸表情样本数量较少，容易导致模型在目标数据集上产生过拟合。人脸表

情识别大多应用在开放场景中，从外界输入的图像可能会夹杂无关图像，神经网

络可能会被无关图像所干扰，导致正确率下降。因此本文采用基于迁移学习和注

意力机制的表情识别方法，本文的研究工作如下：

（1）针对许多公开数据集人脸表情样本数量较少，表情信息单一，不利于人

脸表情识别的研究。本文通过手动收集人脸表情图片，自建了人脸表情数据集进

行实验。

（2）提出了基于迁移学习和层次化注意力机制的人脸表情识别方法。首先对

ResNet网络进行改进，借鉴Res2Net模型的残差块结构，在残差块后面加入CBAM

注意力机制。利用改进模型在ImageNet上预训练，然后迁移到样本比较少的人脸

表情数据集进行训练。分别使用自建数据集和公开数据集CK+，对改进的ResNet

网络模型进行实验。

（3）提出了基于注意力机制的开集人脸表情识别方法。把融入CBAM注意

力机制的ResNet网络和OpenMax开集表情识别方法结合起来。提出了融入CBAM

注意力机制的特征提取网络，对开放场景下的人脸表情特征进行识别。实验结果

表明：本文方法可以使模型关注到更加细微的特征，在开集设定下，提高识别已

知类识别的识别准确率。

关键词：人脸表情识别；深度残差网络；迁移学习；开集识别

Abstract

Facialexpressionrecognitionneedstotrainalargeamountofdatathrough

convolutionalneuralnetwork,butthenumberoffacialexpressionsamplesinmany

publicdatasetsissmall,whicheasilyleadstooverfittingofthemodelonthetarget

dataset.Facialexpressionrecognitionismostlyappliedinopenscenes,whereimages

inputfromtheoutsidemaybemixedwithirrelevantimages,andneuralnetworksmay

bedisturbedbyirrelevantimages,resultinginadecreaseinaccuracy.Therefore,this

paperadoptstheexpressionrecognitionmethodbasedontransferlearningand

attentionmechanism.Theresearchworkofthispaperisasfollows:

(1)Formanypublicdatasets,thenumberoffacialexpressionsamplesissmall,

andtheexpressioninformationissingle,whichisnotconducivetotheresearchof

facialexpressionrecognition.Thisarticlecollectedfacialexpressionimagesmanually

andcreatedafacialexpressiondatasetforexperiments.

(2)Afacialexpressionrecognitionmethodbasedontransferlearningand

hierarchicalattentionmechanismisproposed.Firstly,theResNetnetworkisimproved

byincorporatingtheresidualblockstructureoftheRes2Netmodelandincorporating

theCBAMattentionmechanismaftertheresidual