三维人脸表情数据获取与标注规范.PDF

三维人脸表情数据获取与标注规范 1. 简介 三维人脸表情研究是计算机视觉、计算机图形学、人工智能等学科的重点研 究内容，基于深度学习技术的三维人脸表情捕获与合成旨在从普通单目摄像头中 获取视频主体的头部姿态信息和脸部表情信息，并根据这些信息驱动另外一个目 标人脸模型进行表情动作。为得到准确的面部表情信息，可利用深度学习技术对 人脸的表情参数进行回归，在此之前，人脸表情数据的标注不可或缺。 早在 1978 年，著名心理学家Ekman[1]等人将面部肌肉运动和人脸表情相联 系提出了面部动作编码系统（Facial Action Coding System, FACS ）, 通过对人脸 肌肉运动进行详细分析，将表情动作划分为多个运动单元（Action Unit ，AU ）并 且定义了六种基本表情：喜悦、愤怒、悲伤、厌恶、恐惧、惊讶。局部运动单元 AU 控制着脸部的各种运动行为（如图 1 所示），不同的AU 在控制面部变形时 又相互联系，最终可形成各种复杂的表情动作。作为人脸表情生成的重要标准， 该编码系统得到了研究人员的广泛采用。 表1 FACS 编码系统中的局部运动单元示例 AU FACS Name AU FACS Name 1 Inner Brow Raiser 12 Lid Corner Puller 2 Outer Brow Raiser 14 Dimpler 4 Brow Lower 15 Lip Corner Depressor 5 Upper Lid Raiser 16 Lower Lip Depressor 6 Cheek Raiser 17 Chin Raiser 7 Lid Tightener 20 Lip Stretcher 9 Nose Wrinkler 23 Lip Tightener 10 Upper Lid Raiser 26 Jaw Drop 本文基于FACS 编码系统自定义包括中立表情在内的25 个AU 参数，同时 从三维人脸表情数据库FaceWarehouse[2] 中抽取出自然表情形状和24 个其它表情 形状，建立其与自定义AU 参数的对应关系 ，使得每一个AU 参数对应于一个 三维人脸表情形状。之后可根据深度网络回归出的AU 参数对相应的表情形状进 行融合变形即可得到特定用户在特定表情下的人脸三维模型，。 2. AU 参数详解与标定方法介绍 本文以基本覆盖人脸各式各样的复杂表情为目标，自定义25 个局部运动单 元，并用AU 参数 （详细介绍见表2 ）来刻画运动单元的变形程度。其中，AU 参 数的取值在0-1 之间，在自然人脸状态下所有AU 参数均置为0，各个AU 参数主 要为刻画某一特定表情下各个运动单元相对于自然人脸中各个运动单元的偏离 程度，偏离程度越低，该AU 参数值越小即接近于0，偏离程度越高，该AU 参数 值越高即接近于1。 表2 AU 参数详解 AU No. English Name Chinese Name Chinese Description Neutral 无任何特殊表情下的自然状态人 0 中立表情 Expression 脸，该表情下所有AU 参数均为0 。 刻画左眼的闭合情况，左眼完全闭 合该参数置 1 半合则为 0.5，微闭 1 Left Eye Close 左眼闭合