基于深度神经网络生成模型的缺失值插补方案设计.pdf

摘要

摘要

随着数据时代的到来，海量数据的获取已经不再成为问题，然而如何提

高获得数据的质量已经变得越来越重要。高质量的数据是训练高质量模型的

保障。在数据获取过程中，因为主观或客观原因总会导致获得的数据出现一

定程度的缺失，而这种缺失的数据极大的影响了数据本身的质量。目前常见

的针对缺失数据的处理方法包括直接删除法，基于概率模型的插补方法，传

统机器学习插补方法等。随着人工智能技术的发展，学者开始尝试使用基于

深度神经网络的生成模型来对数据的缺失进行处理。

变分自编码器(VariationalAuto-Encoder，VAE)以及其他生成模型已被

证明可以有效且准确地捕获大量复杂高维数据的潜在结构。然而，现有的

VAE模型仍然不能直接处理含有缺失数据的数据集。本文提出了一个基于多

头自注意力机制的VAE生成模型，可以对具有混合数据类型属性的不完整数

据进行缺失值的估计。本文提出的生成模型将分类型数据类型和连续型数据

类型的数值分别进行高维空间映射。将单个数值映射成一个高维度向量，在

高维空间中采用多头自注意力模块来获取向量间的关系，在模型的解码器中

将利用这种关系还原原始数值，并在此过程中完成数据缺失部分的估计。

为验证模型的有效性，本文选取了四个具有不同数据类型属性的分类数

据集进行模拟缺失，并采用常见的插补方法与本文提出的生成模型插补方法

分别在四个模拟缺失的数据集中对缺失的数据进行估计。结果表明本文提出

的方法插补性能在大多数数据集上优于现有方法。此外，本文提出的生成模

型在二分类的标签预测任务上胜过部分有监督分类模型。

关键词：缺失值插补，变分自编码器，自注意力机制，完全随机缺失

1

基于深度神经网络生成模型的缺失值插补方案设计

Abstract

Withtheadventofthedataera,theacquisitionofmassivedataisnolongera

problem,buthowtoimprovethequalityofobtaineddatahasbecomemoreand

moreimportant.High-qualitydataistheguaranteefortraininghigh-qualitymodels.

Intheprocessofdataacquisition,subjectiveorobjectivereasonswillalwayslead

toacertaindegreeofmissingdata,andthismissingdatagreatlyaffectsthequality

ofthedataitself.Atpresent,commonprocessingmethodsformissingdatainclude

directdeletionmethod,imputationmethodbasedonprobabilitymodel,and

traditionalmachinelearningimputationmethod.Withthedevelopmentofartificial

intelligencetechnology,scholarsbegantotrytousegenerativemodelsbasedon

deepneuralnetworkstodealwiththelackofdata.

Variationalautoencoder(VAE),alongwithothergenerativemodels,have

beenshowntoefficientlyandaccuratelycapturetheunderlyingstructureof