气象数据监控系统的设计与实现.docxVIP

  1. 1、本文档共4页,可阅读全部内容。
  2. 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  5. 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  6. 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  7. 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  8. 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多

?

?

气象数据监控系统的设计与实现

?

?

叶汶华

摘要气象数据监控系统设计用于对种类繁多的气象数据统一收集管理,及时发现传输中的问题。系统主要功能包括数据探测、智能分析和实时监控。重点介绍针对数据库数据和文件系统数据的探测及监控技术。在深圳市气象局的应用表明,系统可以及时发现数据传输中的问题,有效提高气象资料采集传输的管理能力。

【关键词】气象数据数据探测实时监控

2006年,深圳市气象局建立了数据中心,将气象基本观测数据都纳入统一管理,近年来,数据种类、内容大大丰富。不同种类的多种数据来源不同,格式多样,数据规律不一。建立一个数据监控系统,实现对各类数据的实时监控统计和告警,将可提升数据传输质量保障能力。

1总体架构

气象数据监控系统分为数据探测、智能分析、实时监控三个模块。数据探测模块采集每类数据到报情况,智能分析模块根据各种数据的规律、预警条件、分析数据是否正常,实时监控模块展示数据到报情况以及发出告警通知。

2数据探测

气象原始数据,可以将其分为结构化数据和非结构化数据,结构化数据一般采用关系型数据库系统存储,非结构化数据一般采用文件系统存储。数据探测程序按照结构化数据和非结构化数据分别设计。

2.1结构化数据

对于结构化的关系型数据库类的数据,数据探测程序主要是通过定期统计数据到报的数量来获得数据到达情况。具体做法是在数据库中定义一个定时任务,定期对目标数据表进行扫描统计,获取特定时间段内的数据到报数量。

如下面以区域站数据示例说明:该表包含了数据观测时间(ddatetime),数据写入时间(crttime)字段。因该类数据是每分钟周期性到达,定期JOB定义为每5分钟扫描一次,设定每次统计当前时间上5分钟的数据,探测程序统计的SQL语句:

selectddatetime时间,count(*)到报数

from(selectddatetime

fromT_LOCALOBTMIND

whereddatetime=sysdate-1/288)

groupbyddatetime

得出的结果如表1所示。

2.2非结构化数据

非结构化的文件数据的数据探测程序定期扫描目标文件夹,并将每次扫描结果存放在数据探测结构表中。记录文件的文件名、文件大小、生成时间、修改时间等属性。以欧洲中心精细化预报产品目录为例,说明一下程序运行情况:

目标目录:\\cmacast\NWP_MCTR_002\ECMF_DAM\PUB

扫描频率:1小时

selectfile_name文件名,accept_day||accept_time接收时间

fromcmacast_file_nwp_mctr_002

orderbymod_timedesc

扫描后的结果记录如表2所示。

3智能分析

气象数据一般都具有较好的规律性。预警规则的设置,可以设置数据的数量阈值,时间阈值等参数。以深圳市区域站数据为例,区域站共120多个站点,每分钟产生一个数据,因此,可将预警时间阈值设置成5分钟,数量阈值设置成120。

设置完后,系统自动跟前面数据探测中获取的实时数据情况作比对,当发现数据未在规定时间内到达数量阈值时,触发告警。

4实时监控

为了让业务人员更直观的了解各种数据到达情况,实时监控功能提供了页面展示和短信告警功能。监控主页面可以看到各种数据的到报情况,每一类数据可以设定一条对应的告警短信内容以及对应的通知手机号码,当达到预警条件时候,会触发告警,发送告警短信到指定的手机号码。

5结语

系统考虑到了主流的结构化关系数据库数据跟非结构化文件类数据的监控,基本可以涵盖现在所有常见气象数据类型。系统还可以从以下方面进行改进。

(1)告警方式还可进一步改进增加直拨电话通知。

(2)可以考虑增加对数据内容的验证。

参考文献

[1]李雁,李峰,赵志强,等.中国区域自动气象站运行监控系统建设[J].气象科技,2013,41(2):231-235.

[2]王海宾,邵玲玲.基于ORACLE的长三角自动站数据库系统[J].气象科技,2012,40(6):933-937.

[3]孙周军,肖文名,宋远清,等.气象信息实时监视系统改进设计与实现[J].成都信息工程学院学报,2012,4:168-173.

[4]张华丽,杨帆,于海平.分布式数据监控系统的设计和实现[J].计算机与数字工程,2013,8:1298-1301.

[5]樊伟钰,朱晓民.一种PaaS系统的数据监控平台的设计方案[J].电信工程技术与标准化,2013,11:80-84.

作者单位

深圳市气象局广东省深圳市518040

?

-全文完-

文档评论(0)

139****2257 + 关注
实名认证
文档贡献者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档