顾学明：也谈大数据-地理信息生产流程整合和应用.docx

也谈大数据--地理信息生产流程整合和应用 顾学明 甲骨文空间信息应用咨询顾问 Copyright ? 2016, Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal 信息服务和发布服务推广应用开发和管理数据采集转换. 增量维护和生命周期管理– 不同时间，不同版本 信息服务和发布 服务 推广 应用开发和管 理 数据采集转换 . 增量维护和生命周期管理 – 不同时间，不同版本 空间地理信息生产组织和管理挑战 . 烟囱式信息采集和数据处理 – 重复工作，重用性差 – 更新周期长 – 产品间一致性 数据采集更新 产品分发产品制作处理 数据采集更新 产品分发 产品制作处理 . 不同比例或产品关联 生产规划和管理产品和成果管理 档案管理 生产规划和管理 产品和成果管理 档案管理 – 更新范围或内容的相关性 Copyright ? 2017, Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal 中华人民共和国中央人民政府一、关于国务院组成部门调整（一）组建自然资源部。为统一行使全民所有自然资源资 中华人民共和国中央人民政府 一、关于国务院组成部门调整 （一）组建自然资源部。为统一行使全民所有自然资源资 产所有者职责，统一行使所有国土空间用途管制和生态保 护修复职责，着力解决自然资源所有者不到位、空间规划 重叠等问题，实现山水林田湖草整体保护、系统修复、综 合治理，方案提出，将国土资源部的职责，。。。。 地理信息整合整合和应用 ? 政府机构整合 ? 企业业务整合 ? 基于GIS和IoT的创新 Copyright ? 2017, Oracle and/or its affiliates. All rights reserved. | 空间地理整合和应用 . 数据处理和清理– . 数据处理和清理 – 数据处理 . 业务空间化 – 空间数据富集化 . 大规模地址和空间匹配 – 空间聚类和关联 . 空间聚类分析 – 业务分析和空间化表达 . 密度分析 . 数据提取ETL . 数据提取ETL . 分析转换 . 投影变换 – 栅格处理 . 多个数据库资源规划 . 弹性设计和整合 . 统一的运行和维护 . 影像纠正匀色和镶嵌 . 影像纠正匀色和镶嵌 . 栅格代数 – 空间数据治理和清洗 . 质量检查 . 数据碰撞和清洗 Copyright ? 2017, Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal 大数据你还好吗？ Big Data 2014-接触和实践Big Data 2012- Big Data 2014-接触和实践 Copyright Copyright ? 2017, Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal 2年后大数据已经从聚焦曲线中消失 2年后大数据已经从聚焦曲线中消失 大数据你还好吗？ ? Big Data 2016 Copyright ? 2017, Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal 大数据真的离我们远去了？ 大数据真的离我们远去了？ 大数据你还好吗？ Copyright ? 2017, Oracle and/or its affiliates. All rights reserved. | . 时间表 . 时间表 - 2014年：“我们的CIO定义了目标 - 用 新的大数据技术取代所有关系数据库”（C） 一家l零售公司 . 时间线 - 2015年：“我们开始实施......过了一段 时间，我们意识到，考虑到我们的技术资源， 这样做几乎是不可能的。 我们不是谷歌，也没 有100位开发人员维护这个解决方案“（C）同 一家零售公司 . 时间线 - 2016：“我们开始考虑混合解决方案， 比如Hadoop或NoSQL等现代大数据技术对传统 技术的补充（而不是取而代之）”（C）还是 这家零售公司 . 反思 – 大数据能不是万能的 – 大数据技术留下了一系列技术堆栈 和思维方式 . 4V+Hadoop+MapReduce+Spark+NLP+AI/ML +R/Matlab? .