TTAF 059-2020 面向智能终端的智能翻译测试库构建方法.pdfVIP

ICS33.050

M30

团体标准

T/TAF059-2020

面向智能终端的智能翻译测试库构建方法

TheConstructionMethodofIntelligentTranslationforSmartMobile

2020-06-17发布2020-06-17实施

电信终端产业协会发布

T/TAF059-2020

面向智能终端的智能翻译测试库构建方法

1范围

本标准建立的测试库适用于针对智能翻译系统进行的自动评测和人工评测。本标准对测试库建立时

原文和译文的来源以及质量等进行了要求，并提出了相应的评估方法。测评时可根据产品的特性和测试

需求从本测试库中选择测试集，测试集可以是本测试库的子集。

2规范性引用文件

下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅所注日期的版本适用于本文

件。凡是不注日期的引用文件，其最新版本适用于本文件。

3原文要求

3.1来源

在原文的选取原则上应保证原文语法正确、语序合理、用词恰当。基于以上原因，数据可来源于知

名的开放媒体、会议或期刊、政府或者国家机构网站等。

原文需经过人工二次确认保证原文的准确性方可作为自动评测原文。

3.2内容

评测数据集应保证不含粗俗以及政治敏感内容，价值观正确，所有参与评测的数据应使用正确的语

法、合理的语序、恰当的用词等，不应存在错误信息。

评测数据应具有普遍适用性及代表性。对于通用领域评测数据集，所选评测数据应包含众多领域，

可侧重在社会、政治、经济、口语、科技、体育、教育和医疗方面，领域应至少涵盖以上八个领域中的

五个，所选的题材、句型、词汇应为这些领域常见而非生僻的，选择有代表性的真实文本。对于特定专

业领域评测数据集，所选的题材、句型、词汇应体现出不同专业领域的普遍特点，选择有代表性的真实

文本。

评测数据应涵盖特定语言不同于其他语言的词、短语、句法等数据。

3.3数据规模

自动评测中，可采用以下两种数据规模：

1

T/TAF059-2020

——条件允许的情况下，为了减少同义词、同词干等问题对评测结果造成的影响，推荐使用采用一

比四的原文译文句数比作为最终测试数据。例如使用1000句测试规模，应包含1000句原文及4000句对应

译文。

——考虑到成本问题，也可使用一比一的原文和译文配比。数据集规模建议不少于1000句。

人工测评中，数据集规模不宜少于500句。

3.4句子类型

不同智能翻译系统对不同长度的数据处理能力不同，为均衡评测数据本身带来的影响，在评测数据

集制作过程中，遵循以下的规则：

其中，原文数据长度及对应长度数据占比如下表所示：

语料长度百分比

15个字（词）以下20%

15-30个字（词）30%

30-75个字（词）40%

75-120个字（词）10%

3.5数据格式

评测数据均使用UNIX纯文本格式进行存储，评测数据编码需为UTF-8无BOM编码,若翻译系统中的中

文为简体则中文评测数据需保证为中文简体。

4原文质量评估

4.1词语级

词汇级评测关注的重点是词语的含义以及词性的问题。比如评测点根据英文单词的词性划分为动词、

名词、形容词、副词