千亿级海洋时空大数据智能航运平台云计算实践.docxVIP

千亿级海洋时空大数据智能航运平台 云计算实践 龙船科技 创始人／CEO 博士 杜忠平 1公司概况 1 Who we are？ 业务协同颠覆传统业务协作 业务协同 颠覆传统业务协作 基于云端的数据分析和融 合计算每天处理近亿条的技（ 各角色航运人高效协同 航运智能 商业智能解决方案 在正确的时间做正确的决定 IOT数据 2016年4月 公司成立 2016年12月 船达通微信版问世 016年12月 百万天使轮融资完成 2017年5月 千万preA轮融资完成 1 2 3 方案Solution结果Problem 方案 Solution 结果 Problem Consequence 海洋与航运 海洋与航运重要性超乎想象，海上贸易占全球总额超过90% 基本问题： ? 什么船？在哪里？ ? 从哪里出发？ ? 要运到哪里？ ? 装载什么货物？ ? 周边海况如何？ 微观：特定时段和区域航行安全和效率 ? 船型运力分布 ? 运输市场变化 ? 贸易市场变化 ? 经营或决策风险 ? 港口航道地理 宏观：更长时间、更宽地域的趋势 本质问题 ① 如何达到极致的效率？ ② 如何确保可接受的安全？ ③ 如何获取和加工信息，以降低不确定性？ 本质：对信息的处理以降低不确定性 国际航运和贸易中心 ，从西方向东方转移 航运业挑战与机会 挑战 人力成本 管理驱动 流程化 IT基础设施 机会 业务协同 数据驱动 移动化 数据基础设施 航运地理信息 港口、锚地、泊位 卫星IOT与海洋数据融合 每天十亿次级别数据处理任务 每天十亿次级别数据处理任务 业务协同 业务协同 ① 按角色协同，完成必要流程 ② 参与者是信息消费者，也是数据提供者 A. B. 跨组织、 跨地域协同，完成对效率极致追求C. D. Instruction Plan Execute（Monitoring） Evaluation 挑战 ① ② ③ ④ 数据处理速度 可靠性 数据处理能力 运营 1 2 3 结果方案Solution 结果 方案 Solution ProblemConsequence Problem 云计算架构 使用的云产品 使用的云产品 计算、大数据分析、存储、网络、安全，共计22项 历程 ? RDS 存储服务 ? DRDS（Distributed Relational Database Service），分布式数据库服务，基于RDS，提供 分库分表功能 ? Hybrid DB for MySQL（PetaData）同时支持OLTP和OLAP免去了ETL过程 ? 小数据量，RDS（MySQL） ? 超过千万的数据量查询，HybridDB for MySQL ? 从实际应用来讲，在一张100亿数据量的表中，查询同一个时间段的数据，效率提升20倍 任务 1、单表存储量超高 入库数据：5千万-1亿条/天 预计数据：200~500亿条/年 2、业务场景需要大范围的查询 查询时间跨度长 查询频率和复杂度在提升，导致慢SQL的出现 3、DBA和运维 数据库调优 数据库运维、监控 Data迁移和上云 离线数据迁移上云步骤： ① 从本地的MySQL上传至ECS自建MySQL数据库 ② 创建唯一主键字段（ID） ③ 百亿量级的数据拆分小表（10亿/表） ④ 通过DTS导入PetaData 关键点： ① 如何加速迁移速度 ② 支持联合主键 数据处理使用的主要大数据组件 1 2 3 结果方案Solution 结果 方案 Solution ProblemConsequence Problem 以数据为中心的用户结构船位跟踪安全信息及时信息移动化安全监管信息分享全量数据 趋势变化决策分析商务管理经营分析船位跟踪航行安全船东船管租家港口服务…… 政府监管 科研机构 金融保险家属货主船货代 以数据为中心的用户结构 船位跟踪 安全信息 及时信息 移动化 安全监管 信息分享 全量数据 趋势变化 决策分析 商务管理 经营分析 船位跟踪 航行安全 船东 船管 租家 港口服务 …… 政府监管 科研机构 金融保险 家属 货主 船货代 游客 船员 PC应用 移动端应用 解决方案 动态跟踪 动态跟踪 动态查询 ……