基于全局上下文的特定舞蹈动作识别方法研究.docx

?

?

基于全局上下文的特定舞蹈动作识别方法研究

?

?

毕雪超

摘要：为了提升机器视觉中特定舞蹈动作识别的性能，设计了基于全局上下文的特定舞蹈动作识别方法。该方法基于Hourglass结构，通过连接高低分辨率的特征图，将具备全局信息的深层特征图上采样与浅层特征融合，使得每一个阶段的高分辨率特征图均具有低分辨率的特征图表示，从而得到信息更丰富的高分辨率特征图表示，最终回归人体姿态热力图。在Balletto舞蹈视频数据库中的测试结果表明，相比基于CPN和基于Hourglass的算法，所提算法的AP值提高2.4%，AR提升了1.6%。

关键词：Hourglass;残差模块;向上连接;全局上下文信息;多尺度特征融合

：TP391.9

文献标志码：A

ASpecificDanceActionRecognitionMethodBasedonGlobalContext

BIXuechao

（YouthLeagueCommittee，XianVocationalandTechnicalCollegeof

AeronauticsandAstronautics，Xian710089，China）

Abstract：Toimprovetheperformanceofspecificdanceactionrecognitioninmachinevision，aspecificdanceactionrecognitionmethodbasedonglobalcontextisdesigned.ThismethodisbasedonHourglassstructure.Byconnectingthehighresolutionandlowresolutionfeaturemaps，thedeepfeaturemapwithglobalinformationissampledandfusedwiththeshallowfeaturemap，sothatthehighresolutionfeaturemapofeachstagehasthelowresolutionfeaturemaprepresentation，soastoobtainthehighresolutionfeaturemaprepresentationwithmoreinformation，andfinallyreturntothehumanposturethermalmap.ThetestresultsinBallettodatasetshowthatcomparedwiththealgorithmsbasedonCPNorHourglass，theAPscoreandARscoreoftheproposedalgorithmareincreasedby2.4%and1.6%，respectively.

Keywords：Hourglass;residualmodule;upwardconnection;globalcontextinformation;multiscalefeaturefusion

0引言

特定舞蹈动作识别是人体姿态估计技术的一个重要应用领域[13]，通过舞蹈动作识别技术可以帮助舞蹈演员纠正错误姿势，有助于智能化舞蹈辅助训练[4]。PfisterT等人[5]将人体姿态估计视为检测问题，通过回归人体姿态关键点的热力图来进行人体姿态估计。之后，采用人体各部件响应图来表达各部件之间空间约束的人体姿态估计方法被提出[6]。NewellA等人[7]提出了基于Hourglass的人体姿态估计算法，该算法可以获取多尺度特征同时具有更加简洁的结构。Openpose[8]实时检测多人2D姿态方法的主要原理是通过部分亲和域去学习将身体部位和对应个体关联。为了提升算法对于复杂关键点的检测性能，文献[9]采用一個全局网络检测简单关键点，然后通过RefineNet检测复杂关键点进行姿态估计，这种网络结构被称为CPN。本文基于Hourglass结构[10]，设计了基于全局上下文信息的舞蹈动作识别算法，用于学习特定的复杂舞蹈动作识别。

1基于全局上下文的舞蹈动作识别

本文提出了一种结合全局上下文信息的架构，能够在整个过程中结合全局上下文信息并维护高分辨率的表示，结构如图1所示。

算法采用256×256的图片输入，首先进行下采样和三个残差模块;然后，经过若干个结合全局上下文信息的Hourglass结构;最后，通过两个连续的1×1卷积得到舞者的骨架关键点图。

1.1基于Hourglass的网络结构

基于Hourglass的模型通过串联高低分辨率的特征图，具有更优的对称性，可以融合多尺度特征[1112]。因此，本文采用基于Hourglass的模型作为基本网络来进行姿态估计。该模型通过将高分辨率到低