智慧交通综合大数据管控平台建设方案（技术方案）.pdf

目录

第1章、前言9

第2章、总体设计10

2.1、系统概述10

2.2、系统设计原则12

2.3、系统框架13

第3章、交通大数据采集子系统18

3.1、前端采集技术18

3.2、数据共享和交换平台20

3.3、框架支撑平台20

3.3.1、基础网络服务平台21

3.3.2、共享内存数据库27

3.3.3、消息组件37

3.3.4、日志管理40

3.3.5、系统预警及系统告警与状态管理42

3.3.6、一致性哈希分发43

第4章、大数据资源整合存储子系统54

4.1、基础交通数据54

4.1.1、城市路网数据55

4.1.2、公交线路数据101

4.1.3、公交车辆数据103

4.1.4、长途客运车数据104

4.1.5、出租车数据107

4.1.6、危化品车数据108

4.1.7、共享单车数据109

4.1.8、火车客运数据110

4.1.9、民航客运数据113

4.1.10、交通资产数据115

4.1.11、出行需求数据116

4.1.12、公路费用数据120

4.1.13、气象数据120

4.1.14、监控设备数据121

4.1.15、追逃车辆数据122

4.2、实时采集数据122

4.3、实时计算数据123

4.3.1、城市交通运行数据123

4.3.2、公交车实时位置数据126

4.3.3、公交(地铁)卡刷卡数据127

4.3.4、长途客车实时数据128

4.3.5、出租车实时数据128

4.3.6、危化品车实时数据129

4.3.7、共享单车实时数据130

4.3.8、路口通行量130

4.3.9、套牌嫌疑车数据131

4.3.10、基于车辆识别的OD分析数据132

4.3.11、基于车辆识别的车辆数据133

第5章、大数据清洗子系统135

5.1、概述135

5.1.1、数据清洗135

5.1.2、缺失值处理136

5.1.3、数据选择137

5.1.4、数据变换137

5.1.5、数据集成138

5.1.6、数据削减139

5.1.7、数据清洗评估140

5.1.8、在交通领域的应用141

5.2、数据清洗方法143

5.2.1、错误数据的判别和修正143

5.2.2、丢失数据补齐154

5.2.3、冗余数据简约163

5.2.4、基于Hadoop的分布式数据清洗168

第6章、大数据融合分析子系统199

6.1、交通调查指标数据计算200

6.1.1、概述200

6.1.2、处理流程203

6.2、交通运行指数计算210

6.2.1、概述210

6.2.2、交通运行指数各项指标计算213

6.3、信号优化221

6.3.1、自适应信控配时计算221

6.4、基于大数据的OD分析271

6.4.1、概述271

6.4.2、基于Hadoop大数据OD分析276

6.4.3、基于移动通信手机定位数据的OD分析288

6.5、基于车辆识别的大数据套牌车分析328

6.5.1、概述328

6.5.2、流式计算Storm简介330

6.5.3、框架335

6.5.4、技术实现336

6.5.5、实时数据337

6.5.6、基于Strom流式计算的数据分析339

6.6