基于Hadoop智能电网监控系统设计与实现.docVIP

基于Hadoop智能电网监控系统设计与实现 　　摘 要：针对智能电网监控系统中海量监控数据存取、处理困难的问题，通过综合利用地理信息技术、网络通信技术和分布式数据库技术等，提出一种基于Hadoop云计算框架的智能电网监控系统，并介绍了系统的工作流程。最后结合浙江省杭州市某地区的虚拟电网中某电厂的运行进行了实例介绍和分析。实例表明，相比传统数据库模式和已有方法，系统对信息处理具有更高的效率和可靠性。 　　关键词：智能电网；空间信息；云计算；通信网络；Map Reduce 　　引言 　　电力系统实时数据是电力系统设备测量和采集的重要数据，这些数据是分析电力系统稳定性，预测电网负荷和电力设备故障、老化等方面的重要依据，是电网运行必须监测的数据[1]。电网中密布着的众多电力设备和监测仪器[2]，组成了需要电力信息系统不停接收和处理的实时状态数据。这些状态数据的数据量巨大，对于监控系统提出了较高的可靠性和实时性要求。而传统系统在面对海量状态数据时，表现出存储能力和处理能力严重不足的问题，在很大程度上制约了电网监控系统的工作效率。因此，存储信息数据与处理这些数据已成为制约智能电网监控的关键所在。Hadoop是一种专为大数据集对象分析处理提出的分解/聚合云计算框架[3]。通过分布式文件系统HDFS和并行编程模型Map/Reduce两大核心的协调管理，系统可以对海量数据进行有效分割与合理调度，从而实现针对大数据的高效的并行处理。当前，我国正在加快智能电网建设，采用云计算技术进行状态监测数据的可靠存储和并行处理，对于未来智能电网的建立必然起到巨大的推动作用。基于此，本文在研究地理信息系统与智能电网有机结合的基础上，通过研发基于Hadoop的智能电网监控系统，实现对大数据集电网监控信息的高效并行存储与处理，解决我国对电网运行实时监控难、慢的问题，完善对电网运行情况的监控，以提高电网整体应急保障能力，增强我国智能电网的信息化建设中的运行管理能力。 　　1 理论概述 　　电网监测是指电网在一定的运行状态下，通过特征信号的检测、变换、分析处理以及显示记录，并输出诊断所采集的信息，提供设备故障诊断的依据的过程。通过将先进的自动控制、通讯技术、计算机技术、信息技术等相结合，对系统内某物理区域监控的电力运行设备设施进行遥测、遥信、遥控、遥调操作，对二次设备和辅助设备实现远程控制，实现对全部一次设备的监视、测量、控制、记录和报警，实现电网的优化运行、优化控制与优化管理，从而提高电网运行状况、安全水平以及事故灾害预测预报的水平。 　　1.1 监控对象 　　涉及电网监测的对象和内容很多，表1描述了监控框架中涉及的对象。 　　表1 　　1.2 关键技术 　　智能电网监控系统所要面对和处理的数据主要包括基础地理信息数据、电网设备设施空间数据和带有空间属性特征的其他数据三大类。基础地理信息数据包括多种比例尺的全国电网地图数据、省网地图数据、重点城市电网地图数据等。电网设备设施空间数据是带有空间位置信息的电网数据，包括发电厂、变电站、架空线路、杆塔、电缆线路等。带有空间属性特征的其他数据即电网环境信息，包括气象信息、灾害信息、地质监测（地震）、自然灾害（台风、冰灾等）、危险源等信息。这些都会对电网产生影响，是监控系统需要重点关注的[4]。智能电网监控系统属于一个复杂性的适应系统，需要地理信息技术、网络通信技术以及数据库技术等的全面支持。 　　地理信息系统的技术优势在于它的混合数据结构和有效的数据集成、独特的地理空间分析能力、快速的空间定位搜索，以及地理过程的演化模拟和空间决策支持功能等，通过将电网设备与其地理位置属性相结合，可以更加快速得确定出线问题或者事故的地点和电网设备设施，提高了应急反应的效率。 　　智能电网对电网自动化和运营水平提出了更高要求，实现智能电网，必须将信息技术神经网络贯穿全网，通过传感器网络、智能终端、智能控制中心和信息网络实现全网可观可控，变革传统电网控制和运营模式，以兼容新能源和灵活应对用户多样需求[5]。 　　监控系统对电力参数进行显示和监测的同时，为了今后对数据进行统计、分析和处理，并实现数据曲线动态显示，还要求对系统提供数据库存储功能。由于电力信息存在数据种类繁多、数据量大、格式不统一且一次写入、多次读取等特点，电力监测设备需要不断地将实时监测数据等写入数据库。为满足可靠性和实时性的要求，不采用传统的关系数据库，而采用基于列存储的分布式数据管理模式，来支持大数据集的高效管理[1]。分布式数据库虽然将数据记录分散在各物理节点上，但逻辑上仍属于同一个系统。通过数据分布的方法共享这些数据，一个全局数据库用于负责整个系统的管理，部分数据库则由每个节点的局部数据库承担。这样，数据的分散采用使局部应用达到最大，对各计算节点之