全国智慧农业气象服务平台数据存储规范试行.doc

全国智慧农业气象服务平台数据存储规范 （试行） 中国气象局 2016年11月 前 言 全国智慧农业气象服务平台综合数据存储规范的制定以《气象结构化数据存储规范（初稿）》、《全国农业气象数据库环境技术规范（试行）》和《全国精细化气象格点预报数据规范》为基础，依托中国气象局CIMISS云平台，是对《气象结构化数据存储规范（初稿）-农业气象分册》、《全国农业气象数据库环境技术规范（试行）》的补充和完善，是全国智慧农业气象服务平台的数据参考规范。主要包括基础气象资料库、农业气象观测数据库、农业气象专题产品库、农业气象野外调查数据库、用户采集数据库、农业气象背景数据库。智慧农业气象数据库存储数据类型有站点数据、格点数据、Word文档、图片数据和视频数据五类。 智慧农业气象数据存储规范 范围 本规范规定了智慧农业气象数据存储规范，包括地面气象数据、土壤数据、农业气象观测数据、农业气象灾害数据、农业气象采集数据、农业气象数值产品、农业气象服务产品和台站信息等数据的表结构、索引、分区方式等内容。 本规范适用于气象结构化数据的存储管理。不论选用传统关系型数据库，还是选用分布式关系型数据库进行存储，都可使用该规范。 术语与定义 (1)数据库 meteorological database 数据库是按照预定结构组织成的气象信息的集合，本规范涉及气象、土壤、农业气象、农业气象灾害、农业气象产品和台站信息六类数据库。 (2)表结构 table 表是数据库内部的数据存储机制。表含有一组固定的列。表中的列描述该表所跟踪的实体的属性。 (3)索引 index 索引是对数据库表中一列或多列的值进行排序的一种结构。 (4)分区 partition 分区是数据库基于性能和可扩展性等因素的考虑将一个大数据表分为独立的若干小表。 规范技术说明 对于智慧农业气象数据的存储管理，不论是选用传统关系型数据库，还是选用分布式关系型数据库，都需要设计数据存储的三项最基本内容，即表结构、索引和分区。表结构用于定义数据的组成和要素存储类型，索引和分区用于优化数据检索和管理性能。 (1)表结构 表结构定义数据包含的各要素字段，包括要素名称、字段编码、数据类型、约束（是否为主键、是否可空）、以及字段的赋值说明等。其中，字段编码源自BUFR码，进行了适当扩展。数据类型主要包括NUMBER、CHAR/VARCHAR2和DATE三种。 要素字段包括用于辅助存储管理的管理型字段（如资料标识、入库时间、更新时间等）和气象要素数据字段（如温、压、湿、风、降水等）。 (2)索引 索引分为两种，即唯一索引和一般索引。 唯一索引，是为了避免数据表中存在重复的键值，一般设计为一个；唯一索引也具备与一般索引一样的加速检索能力。一般索引，是为了提高应用检索效率，将常用的检索字段设计为索引，可设计为一个或多个。 智慧农业气象数据的唯一索引，一般由站点、观测时间、层次等时空字段组成。一般索引，则由常用应用场景的检索字段组成。 (3)分区 气象数据具有时空密度高的特点，因此数据规模较大。为提高存储管理性能，大部分数据表都需要进行分区。一般都按时间范围进行分区，依据数据的规模大小，分区粒度可选择为月、日和小时。 基于站点的资料存储规范 中国地面气象资料 中国地面气象资料包含地面实况气象资料和预报气象资料两类，其中，实况资料包括气象要素日值实况、小时值实况和气候标准值；预报资料为精细化城镇预报产品。数据表中文名、表格中文名称、名称编码和说明见下表。具体表结构见附件1-中国地面实况与预报气象资料表。 表清单 序号 表中文名称 名称编码 说明 中国地面气象日值实况 SURF_CHN_MUL_DAY_TAB 同《气象结构化数据存储规范（初稿）》中4.1.7一致 中国地面气象日值气候标准值 SURF_CHN_MUL_YES_TAB 新建 中国精细化城镇预报资料 SEVP_CHN_WEFC_RFFC_TAB 新建 中国地面气象小时实况 SURF_CHN_MUL_HOR_TAB 同《气象结构化数据存储规范（初稿）》中4.1.2一致 中国日照资料 SURF_CHN_SH_HOR_TAB 同《气象结构化数据存储规范（初稿）》中4.1.13一致 土壤资料 土壤资料包括土壤土壤水文物理特性、土壤相对湿度、土壤水分总储存量、有效水分储存量、土壤冻结与解冻、土壤地温小时值、土壤地温日值等。数据表中文名、表格中文名称、名称编码和说明见下表。具体表结构见附件2-中国地面土壤资料表。 表清单 序号 表中文名称 表名称 说明 土壤水文物理特性表 AGME_CHN_SOIL_HYDO_TAB 同《气象结构化数据存储规范（初稿）》中4.5.9一致 土壤相对湿度表 AG