一种面向智能交通场景的HBase时空索引设计.pdfVIP

一种面向智能交通场景的HBase时空索引设计

摘要：针对HBase无法直接实现海量时空数据查询的问题，结合智能交通的常用场

景，提出一种基于原生HBase接口的、结构简单的时空索引设计。首先引入基于时间与空

间信息的加盐算法作为索引前缀，以避免产生HBase数据读写热点。然后利用GoogleS2

算法将经纬度信息降维为一维编码，与时间、数据类型标识等字段组合形成时空索引。最

后通过实验验证了所提出的HBase时空索引设计在TB级存储场景下多维查询的性能和数

据分布。

关键词：智能交通;时空索引;HBase;加盐算法;GoogleS2

中图分类号：TP311.133.1

文献标识码：A

文章编号：1009-3044（2020）04-0163-03

收稿日期：2019-12-05

基金项目：重庆市公安局科技攻关计划项目（项目编号：G2018-15）

作者简介：刘一流（1991—），男，河南许昌人，助理工程师，硕士，主要研究方向

为时空大数据挖掘。

Spatio-temporalIndexforIntelligentTransportationSystemBasedonHBase

LIUYi-liu

（ChongqingMunicipalPublicSecurityBureau，Chongqing401120，China）

Abstract：FocusingontheissuethatHBasecouldntexecutemultiple

analysisdirectlywhenprocessingmassivetrafficdata，aspatio-temporal

indexBasedonHBasewasproposedtosupportintelligenttransportation

applications.Firstly，asaltingalgorithmwithtemporalparameterandspatial

parameterwasintroducedtogeneraterowkeyprefixinordertoavoidthedata

workloadhotspot.Secondly，thedi-mensionalityreductionmethodBasedon

GoogleS2wasusedtoconverttwo-dimensionalspatialpositiondataintoone-

dimensionalcode，thenthecodewascombinedwithelementsliketemporal

dimension，datatypeandsoontogeneratethewholespatio-temporalin-

dex.Finally，theexperimentalresultsshowthattheproposedHBasespatio-

temporalindexcaneffectivelyimprovethetrafficdataque-ryperformance

whenthedatastoragesizeisoverTB.

Keywords：intelligenttransportation;spatio-temporalindex;HBase;salting

algorithm;GoogleS2

1背景

隨着5G等新一代信息技术的崛起，智慧城市在中国经历了井喷式的发展。据政府公

开信息统计，仅在2013年至2018，年六年时间内，由各地方政府委托的智慧城市项目的

中标数量从12个激增至162个，年复合增长率超过45%。智慧交通作为智慧城市的重要组

成部分，可通过对城市交通时空数据进行分析，为公安、公路、交管等部门的决策提供依

据，以支撑交通诱导、应急指挥、线路优化等应用。

依托监控、物联网等技术，城市交通所产生的时空数据量级呈爆炸式发展，传统关系

型数据库在存储与处理这些数据时显得力不从心。以HBase为代表的分布式NoSQL数据库

在海量数据存储场景下具有优异的表现，并能集成MapReduce、Spark等计算框架作为工