基于自建表情数据集和改进Transformer框架面向视频序列的表情识别方法.pdf

摘要

人脸表情识别是计算机视觉领域当中的一个重点研究方向，旨在利用计算机

技术自动识别人脸图像中的表情，人脸表情蕴含着人们内心最真实的情感变化，

在情感识别、人机交互、人脸识别等领域表现出了潜在的应用价值。

传统面向视频序列的表情识别任务中存在着两点不足之处：第一，往往只考

虑处理人脸的2D信息，但2D信息并不能完全反映出人脸的形状和特征，往往

会导致识别性能下降；第二，RNN或者LSTM之类的序列学习模型只能建立相

邻或者相近的帧之间的关系，无法做到帧与帧之间的全相关学习。

目前已有的基于视频的人脸表情数据集存在着许多不足之处，如数据量有限、

标注不准确、难以覆盖所有年龄阶段、缺乏多样性等问题。AFEW8.0视频片段

选取自不同的电影，然而电影中大部分表情的流露为演员表演出来的，缺乏真实

性和自然性。

本文针对人脸表情识别及相关数据集进行了一定研究与扩展，主要贡献如下：

（1）改进现有的VisionTransformer框架。同时将人脸3D关键点的坐标以

2DVit

及基于表情分类的人脸深度网络特征输入到嵌入帧注意力模块的中，后

续在CK+、AFEW数据集上分别做了对比实验，并将自建数据集JXNU-Expression

与AFEW数据集做了消融实验。结果表明在这样的框架下识别精度和稳定性能

够得到较大提高，做到了帧与帧之间的全相关学习，在出现侧脸或其他罕见角度

时都能准确的识别人脸表情，同时也证明了自建数据集具有挑战性。

（2）设计并制作了人脸表情通用数据集JXNU-Expression。在综艺节目、真

人秀和纪录片中根据前后语境找寻最真实、自然的表情片段视频，对定位好的

680个视频序列进行剪辑操作，去除多余人脸与环境信息并尽量保留人脸部分内

容，方便后续的表情识别工作；记录表情在源视频中的对应位置，能够通过上下

文察觉到表情的属性。自建人脸表情数据集包含不同年龄、不同种族肤色、不同

性别的面孔，丰富了多样性，对现有的人脸表情数据集是一个有利的补充。

（3）自主设计并制作了关于刺激自然/抑制表情反应的在线微表情数据集

JXNU-Microexpression。在电影、纪录片和短视频平台中精心选取三种短时间内

容易产生表情反应的刺激视频，通过自主搭建的采集环境和设计实现的微表情识

别系统收集被试者观看三种刺激视频时自然与抑制反应的视频序列，并使用改进

的表情识别算法和其他相关方法对采集到的刺激反应数据进行处理和分析。

关键词：人脸表情识别；表情数据集；人脸3D重构；微表情

I

Abstract

Facialexpressionrecognitionisakeyresearchdirectioninthefieldofcomputer

vision,aimingatautomaticallyrecognizingtheexpressionsinfacialimagesbyusing

computertechnology.Facialexpressionscontainthetruestemotionalchangesin

peopleshearts,andshowpotentialapplicationvalueinthefieldsofemotion

recognition,human-computerinteraction,facerecognitionandsoon.

Therearetwoshortcomingsinthetraditionalvideosequence-orientedexpression

recognitiontask:First,only2Dinformationofhumanfacesisoftenconsidered.

However,2Dinformationcantfullyreflecttheshapeandfeaturesofhumanface,

whichoftenleads