浙江大学-刘仁义-浙江大学地理空间大数据创新技术及应用.docxVIP

浙江大学地理空间大数据创新技术及应用 报告人：刘仁义 浙江大学地理信息科学研究所 浙江省资源与环境信息系统重点实验室 2017年7月 内容提要 ? 地理国情大数据创新技术及应用 ? 全国土地大数据创新技术及应用 ? 高分遥感大数据创新技术及应用 ? 点云数据高性能计算创新技术及应用 ? 后云时代技术创新——雾计算 GIS-Transforming our World 地理国情大数据创新技术及应用 地理国情大数据创新技术及应用 GIS-Transforming our World 地理国情大数据 应运而生海量空间数据爆炸式增长背景 地理国情大数据 应运而生 海量空间数据爆炸式增长 空天地海立体观测技术发展 高精度 高精度 高频度 高覆盖 地理国情普查/监测数据获取能力： ? 日均获取原始影像超300GB ? 每年累计亿级矢量图斑要素 ? 应急支撑需采集十余种数百TB数据 背景 以浙江省地理国情普查主要成果为例 背景 地理国情大数据——海量、多源、异构 背景 地理国情大数据——海量、多源、异构 问题挑战数据管理难——传统数据管理技术存储模式单一，面向海量、多源、异构的时 问题挑战 数据管理难 ——传统数据管理技术存储模式单一，面向海量、多源、异构的时 空数据扩展存储能力有限。 突破地理国情大数据关键技术，解决大规模地理国情数据异构海量存储、高性 能实时统计分析、增量更新技术瓶颈 高效计算难 高效计算难 ——计算作业时间长、交互等待时间长、无法应对大规模地理国情 数据处理需求。 我们的应用技术方案 云计算环境下地理国情大数据高效存储计算关键技术 云计算环境下地理国情大数据高效存储计算关键技术 规范化数据预处理入库工具检核实体编 码元数据提取...Geodatabase分区数据WKTGeodatabase不分区数据WKT地理国情要素HbaseOracle数据整合数据组织集中存储关键技术一、地理国情大数据多态云存储 规范化数据预处理入库工具 检核 实体编 码 元数据 提取 ... Geodatabase 分区数据 WKT Geodatabase 不分区数据 WKT 地理国情要素 Hbase Oracle 数据整合 数据组织 集中存储 1、大规模地理国情多态云存储模型 ? 根据数据不同类型、不同需求， 选取不同的存储模型 ? 小要素集、更新频繁的数据采 用Geodatabase模型管理 ? 大要素集、计算频繁的数据以 WKT格式基于HDFS存储，并 使用HBase存储空间索引 ? 影像数据、文档数据采用分布 式文件系统与元数据表结合的 方式管理 待入库数据 矢量 影像 文档 矢量数据组织结构文件数据组织结构 矢量数据组织结构 卫星名称 卫星名称 传感器名 年份 月份 日数 日数 索引 元数据与 表数据 索引 元数据与 表数据 HDFS分布式文件系统 HDFS分布式文件系统 数据节点1 … 数据节点1 数据节点1 HDFSHBase查询任务1 （StartKey， EndKey）查询任务n （StartKey， EndKey）...数据模型：OGC+WKT空间定位：网格索引生成查询任务关键技术一、地理国情大数据多态云存储 HDFS HBase 查询任务1 （StartKey， EndKey） 查询任务n （StartKey， EndKey） ... 数据模型： OGC+WKT 空间定位：网格索引 生成查询任务 2、泛化地理信息高效并发检索技术 数据分块合并文件 数据分块 合并文件 网格包含的 geo_ID文件 地理国情矢量数据 的快速检索与统计 获取查询条件 获取查询条件 （行政区编码、分类码） 查询任务 查询任务2 （StartKey， EndKey） 查询结果合并 查询结果合并 关键字查询：倒排索引 空间查询：最小外接矩形过滤 1. 使用单一存储模型，效率 1. 使用单一存储模型，效率 低、性能差 2. 难以充分利用计算资源 3. 无法应对时空大数据存储 多态存 储方法1. 分布式存储模型2. 运行在分布式存算一体化环境，检索资源利用率高3. 专门应对时空大数据存储对浙江省700万条地表覆盖要素进行检索和三级类 多态存 储方法 1. 分布式存储模型 2. 运行在分布式存算一体化环境， 检索资源利用率高 3. 专门应对时空大数据存储 对浙江省700万条地表覆盖要素进行检索和三级类统计 , 仅需24 秒， 解决了传 创新效果? 多样化地理国情信息快速检索统计 创新效果 对比传统 对比 方法 统GIS平台均无法处理的国际技术难题 统GIS平台均无法处理的国际技术难题 关键技术一、地理国情大数据多态云存储 创新效果? 覆盖全省PB级地理国情数据的高性能存储