基于预训练掩码语言模型的程序类型推理研究.pdf

摘要

代码片段当中常涉及未声明接收对象和非完全限定名。将这些未声明接收

对象和非完全限定名解析为对应的完整数据类型名（即：类型推理），是有效利

用代码片段当中知识的先决条件。为了推理出代码片段中的完整数据类型名

Fully-qualifiedname“

（），现有工作均基于符号知识库，采用关键字匹配式的查

”

字典策略。然而，符号知识库的构建依赖解析可编译的代码文件。这种可编译

的开销会限制符号知识库中所存储的完整数据类型名和代码上下文的数量。当

使用关键字匹配式的策略进行类型推理时，会由于符号知识库中知识的有限性

而出现Out-of-vocabulary问题。这意味着查找完整的数据类型，如果未存储在

符号知识库中，将返回空值。

为解决现有工作在类型推理任务中所存在的Out-of-vocabulary问题，本文

采用提示调优的方法激活预训练语言模型作为类型推理的神经知识库（类型推

理模型），并采用“完型填空”式的策略进行类型推理。相比符号知识库的构建

存在可编译的开销，神经知识库的构建因基于代码自然性将代码视作为文本而

不存在可编译的开销。基于激活的类型推理的神经知识库，本文设计了两款类

IntegrateddevelopmentenvironmentsIDE

型推理模型载体插件，分别为（）插件

和WEB插件。

实验部分，本文从有效性、实用性和能力探究三个方面对本文所提出的类

型推理模型进行系统化的评估。有效性实验结果表明，本文所提出的类型推理

模型具有低资源学习能力，即仅使用10%数据对掩码语言模型进行微调便取得

了优异的类型推理性能。实用性实验结果表明，类型推理模型的性能优于现有

最新的类型推理工具，并且能够很好的处理现有工作中所存在的Out-of-

vocabulary问题。能力边界探究实验结果表明，类型推理模型具备泛化能力

（可在不同的编程语言中进行类型推理）以及混语能力（可为不同的编程语言

提供一个统一的类型推理模型）。

关键词：代码片段；类型推理；完整数据类型名；预训练掩码语言模型；

提示调优

III

Abstract

Codesnippetsofteninvolveundeclaredreceiverobjectsandnon-fullyqualified

names.Resolvingtheundeclaredreceivedobjectsandnon-fullyqualifiednamesinto

thecorrespondingfullyqualifiednames(i.e.,typeinference)isaprerequisitefor

efficientlyusingtheknowledgeincodesnippets.ToinfertheFullyqualifiedname

(FQN)inthecodesnippet,existingworkisbasedonthesymbolknowledgebaseand

adoptsthekeywordmatchingdictionarylookupstrategy.However,constructinga

symbolicknowledgebasedependsonparsingcompilablecodefiles.Thiscompilable

overheadlimitsthenumberoffullyqualifiednamesandcodecontextsstoredinthe

symbolicknowle