《环境文本数据加工处理技术规范》.pdfVIP

ICS13.020.01

CCSZ06

团体标准

T/ACEF□□□－20□□

环境文本数据加工处理技术规范

Technicalspecificationforprocessingenvironmentaltextdata

（征求意见稿）

20□□-□□-□□发布20□□-□□-□□实施

中华环保联合会发布

目次

前言I

1适用范围2

2规范性引用文件2

3术语和定义2

4环境文本数据加工处理程序2

5数据采集3

6数据清洗3

7数据处理4

附录A（资料性）环境文本加工处理实例5

1

前言

本文件按照GB/T1.1-2020《标准化工作导则第1部分：标准化文件的结构和起草规

则》的规定起草。

请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。

本文件由生态环境部环境规划院提出。

本文件由中华环保联合会归口。

本文件起草单位：生态环境部环境规划院、北京市生态环境监测中心。

本文件主要起草人：李勃王建童卢亚灵赵大地张鸿宇蒋洪强杨懂艳马俊文。

I

环境文本数据加工处理技术规范

1适用范围

本文件规定了环境文本数据加工处理的程序、方法及技术要求。

本文件适用于环境文本数据的加工处理。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期

的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括

所有的修改单）适用于本文件。

GB/T42777基于文本数据的金融风险防控知识图谱构建技术框架指南

GB/T34950非结构化数据管理系统参考模型

3术语和定义

下列术语和定义适用于本文件。

3.1

逆向文件频率inversedocumentfrequency,IDF

一个词语普遍重要性的度量，由总文件数目除以包含该词语的文件数目，将得到的商取

对数获得。

3.2

词频termfrequency,TF

某一给定词语在文件中出现的次数。

3.3

关系relationship

实体与实体之间在特定时间、特定行为下产生的联系。

［来源：GB/T42777-2023,3.2］

4环境文本数据加工处理程序

环境文本数据加工处理涵盖从原始环境相关文本数据的采集，到利用现代自然语言处理

技术进行清洗和预处理，再到采用嵌入算法将文本非结构化数据转化为结构化数据的全过

程。加工处理程序分为数据采集、数据标准化与清洗、文本嵌入与向量化等步骤，见图1。

2

1

图环境文本数据加工处理程序

5数据采集

首先确定目标来源，如政府网站、新闻门户、社交媒体平台、学术数据库及法律信息库

等；对于版权允许的文档，可进行下载。

6数据清洗

主要包括去除无关字符、统一编码格式、转换大小写、校正拼写错误、消除重复项等步

骤。具体操作如删除标签、数字、特殊符号；将所有文本转换为小写形式；使用自然语言处

理工具纠正错别字；过滤停用词（如“的”、“是”等常见但无实际意义的词汇）；以