2023智慧环保生态环境大数据平台技术方案.docVIP

技术白皮书 第 PAGE11页 /共 NUMPAGES20页 智慧环保 生态环境大数据平台 技术方案 技术特点 1、面向海量环保数据的HDFS高效存储 采用时下流行的分布式存储系统（HDFS），来实现对建设项目附件等非结构化文件、大文件的存储。HDFS是一个高度容错性的系统，能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。通过HDFS存储技术，不仅实现了对库表文件等结构化文件存储、对建设项目附件等非结构化文件存储，极大的缓解了环保局原数据中心的存储压力，还能跟随环保数据的不断增长，进行动态的扩容，满足环保数据的长期存储、管理需求。 2、批量+实时的混合式数据处理 面对着海量数据在不同业务场景中的应用，传统的关系数据库已经难以支撑对这些数据的高效处理。通过采用Map-reduce架构，通过大规模的并行化计算提升批处理能力；结合spark的内存计算能力，提升在短、频、快的交互式访问场景中的计算处理性能。通过对上述技术的应用，平台将具备批量与实时的混合式数据处理能力，为数据使用者挖掘数据价值提供支撑。 3、基于大数据的环保数据分析及展示 环保数据经过多年的积累，呈现出数据类型多、数据体量大等大数据典型特征，传统的关系数据库已经难以满足海量环保数据深层次挖掘与分析展现的需求。通过采用流处理、数据抽取与集成、数据分析、数据解释、关键技术分析等大数据技术，对环保大数据进行分析和展示，实现对生态环境大数据的高效处理和利用。 4、高效安全的J2EE三层架构体系 采用J2EE三层结构体系，前端采用浏览器界面，以主流数据库做数据存储与管理，以应用服务器做流程应用，根据业务特点分别在三层体系结构中实现负载均衡，便于每一层独自升级和在J2EE平台上分布式部署。采用三层架构技术体系，可以在业务应用的开发、部署，系统运行的可靠性、可扩容性等多方面都有较好的技术保障。 5、面向服务的SOA体系结构 采用面向服务的SOA体系结构。面向服务的架构为大规模的应用系统建设提供了很多有价值的特性，例如通过寻找并使用已有的服务而不必重复地开发某种功能，降低了系统的投资；异构的系统之间能够方便地集成；已有的系统能够更容易地扩展等。基于SOA的理念，各个应用系统以及保留系统、地市局特色系统等都可以被认为是一些服务的提供者和使用者，它们提供或者使用一些业务服务。这样，应用系统不再作为一个个“信息孤岛”，而是整个软件系统的有机组成部分，相互之间可以方便地共享数据和功能，协作完成完整的业务处理流程。 主要内容 1、大数据基础支撑平台 部署环保大数据基础支撑平台，包括大数据计算与存储集群、虚拟化集群、中间数据库、用户接入集群等。 2、数据采集与处理 本平台需采集的数据包括环保内部的结构化和非结构化数据，其他委办局如气象、水务、测绘院、交通、农业、绿化市容、工商法人库等的数据，以及互联网舆情数据如从社交媒体、微博、社会团体等渠道获得的信息。平台提供数据交换、文件传输、流数据采集、网页爬取等手段对多源异构的数据进行采集，并对数据进行标准转换和规整化；运用分布式存储、关系数据存储等方式构建环境数据资源池；提供批处理、流处理、内存处理技术，为数据利用提供支撑。 3、数据管理与监控 实现对数据从采集、存储、分析、到共享使用全过程的统一管控，结合已有的数据标准规范实现环保大数据管理平台统一监管。主要包括数据源管理、数据治理等。 4、数据分析利用与开放共享 集成一系列数据挖掘工具、算法，构建分析利用环境，面向具备不同技术能力的用户提供全链路的大数据应用工具支持，包括数据分析建模设计环境、模型算法库、分析应用试验区、数据可视化等；提供灵活多样的数据检索服务以及数据共享服务，包括目录服务、API接口池、共享访问控制等功能。 核心功能 数据采集与处理 生态环境数据源包括环保内部业务部门产生的、汇集到中心数据的数据，相关业务部门产生的外部数据，以及通过互联网获取的网页、社交媒体数据。通过数据采集与处理，实现面向多源异构数据对象的高效数据采集能力，提供了面向关系型、文件式、流式、网页等多种数据形式的采集能力，并实现对采集任务进行全程管理、统一监控，保障数据采集任务的安全高效。同时对输入数据进行预处理，解决冗余数据、不同数据类型处理、数据缺失处理、异常值处理、不同量纲数据处理、降维处理、平均值处理、数据子集摘取等问题，保证输入数据质量满足模型要求。 数据计算存储 基于海量环保数据存储需求、结合上层环保大数据应用的场景，采用数据仓库技术，通过HDFS文件系统实现数据的统一存储，构建面向通用型环保数据应用的主题库，包括污染源主题库、环境质量主题库、环保政务主题库、空间数据主题库等，以支撑环保大数据的高效检索、调用、分析与展现，为上层应用提供高效支撑。同时，在数据处理能力上，提供了批处理、流处理、内存计