大数据平台建设项目可研方案.docx

大数据建设项目可研方案

数据平台现状：数据平台已实现部分功能

为了满足大数据中心考核要求

为了满足大数据中心考核要求，以及区委办局

数据共享调用的要求，在尚未申报资金的情况

下，目前在区信息中心已经搭建的大数据环境

如下：

持续为数据目录编制系统提供支持，对接大数据中心，提供数据目录。

满足大数据中心的日志交换要求，提供FR、RK办件数据服务。

对接大数据中心下发数据需求，对数据编目整理、归集，以及日常事务。

市区两级交换平台级联开发，满足区别数据交换业务，市区两级数据交换业务。

维护区别大数据中台平稳运行。

区当前大数据系统架构

当前区大数据系统已具备资源目录管理、数据交换管理、交换监控管理、数据交换异常检测、表与字段权限管理、数据归集管理、数据源配置管理、数据归集策略管理、归集任务管理、异常数据管理、数据发现与消息通知管理等功能

现有网络、设备以及其他信息资源情况

机房现状

机房现状

现阶段，

现阶段，区科委的信息化机房分布情况如下（不含公、检、法系统）：

m区电子公共云中心主要机房为1个，其他为公安云、教育云和卫健云等三个云分中心

虚拟化平台现状

虚拟化平台现状

m

m区电子公共云由m区信息服务中心负责建设和运维，目前全区已有35家单位接入公共云，共承载340个业务应用。公共云配置虚拟机580台，公共网区和互联网区差不多各一半。

网络现状

网络现状

目前

目前m区公共外网骨干结构为“核心-汇聚-接入”的三层结构，接入交换机—汇聚交换机间实现双链路互联，汇聚—核心间实现网状互联。由于整个网络有了明确的层次划分，汇聚层与核心层也将承担各自的功能。

汇聚层实现所有接入单位三层网关功能。

核心层实现核心应用服务器群、Internet出口、市公共外网出口的接入，并实现接入链路的冗余。汇聚层-核心层设备之间环状冗余。

本项目与已有系统的关系

评价六位一体大数据资源体系

评价

汇聚整合共享应用展示

归集全区公共数据市级数据资源落地市大数据平台对接功能模块全面升级整体架构重新部署

归集全区公共数据

市级数据资源落地

市大数据平台对接

功能模块全面升级

整体架构重新部署

原有系统与数据

原有系统与数据

数据资

公安视

GIS服务平台

数据归

集管理

系统

物联网平台

频图像

平台

源目录

系统

拟建公共大数据资源平台（一期）项目

拟建公共大数据资源平台（一期）项目是加快整合本区现有数据共享交换平台、数据资源目录和基础数据库等与大数据资源平台相关的平台的基础上，进行整

体架构的重新部署和功能模块的全面升

级，在满足与市大数据资源平台的对接，

并承接市大数据资源平台的落地数据资

源，同时，归集全区内各单位公共数据

资源，按需实现共享交换，逐步构建集

区级公共数据汇聚、整合、共享、应用、

展示、评价六位于一体的大数据资源体

系。

项目建设的必要性

本项目建设具有必要性，具体如下：

1公共大数据平台建设是贯彻和落实数据战略的重要实践

2公共大数据平台建设是响应本市公共数据管理办法的必然要求

3公共大数据平台建设是打破信息壁垒解决数据烟囱的关键举措

4公共大数据平台建设是提升智慧城市管理服务能级的核心中枢

5公共大数据平台建设是区城市经济高质量发展的内在需求

架构需求项目需求分析

架构需求

?

?建立自身的统一技术栈。

?开放架构：平台本身具备模块化开放和集成能力。

?支持多租户和容器化资源弹性伸缩部署。

?架构的先进性：技术架构中的技术组件选型，从技术成熟度、性能、稳定性、持续研发升级、使用后业内评价、易维护性、

适配性等方面做出考量，为架

构选型提供参考，保证整体架

构中的组件的先进性。

?架构的高可用：在长时间、多

任务场景下的稳定运行。

功能需求

功能需求

?区大数据支撑子平台

?区数据共享交换子平台

?区数据资源中心

?区三清单一目录管理

?区数据治理子平台

?区数据管理子平台

?区数据安全子平台

?区统一数据管理门户

性能需求

性能需求

业务量需求?平台需要具备5PB数据存储与管理能力，其中结构化数据存储与管理能力要求达到500TB。

业务量需求

?平台数据计算/并发能力：数据融合计算（百万级数据）执行效率达到分钟级别；分布式存储平台支持超过200人的数据开发人员并发访问，同时进行数据处理任务的开发、测试和使用；平台的调度执行器需具备2000个在线数据任务在分布式存储平台下的管理和执行的能力。

?平台门户使用：1)登录系统时