试论在大数据技术下海洋测绘数据的存储与挖掘.docxVIP

??

?

??

试论在大数据技术下海洋测绘数据的存储与挖掘

?

?

?

?

?

??

?

?

?

摘要：地球上海洋占比71%，随着当前时代的发展，人们一直在探索海洋世界。目前，信息化技术发展迅速，而且在各种新技术的推动下，大数据技术得以问世并被深入应用，而且在当下的海洋测绘工作中，大数据技术起到了至关重要的作用，其可以用于测绘数据的挖掘与存储，这对异构性、复杂性、多样性特点下的海洋数据测绘工作提供了重要帮助。要知道，海洋测绘数据具有“海量化”特点，现如今对于其测绘，多采用Hadoop大数据技术，以此来更加高效地进行数据挖掘和分析。

关键词：大数据技术；海洋测绘；数据的分析与存储

引言

在计算机信息技术快速发展的背景下，社会已经进入了信息化时代，大量的数据产生于社会中的各个领域，同时大数据技术在数据信息的处理上也得到了普遍的应用。在对海洋资源进行开发的过程中，对海洋环境的变化进行有效的测绘，就需要实现采集、存储和处理相应的海洋测绘数据，这时对于海量海洋测绘数据的处理和应用也成为了越来越多学者关注的问题。随着大数据技术的出现，在海洋测绘数据的采集、存储和处理方面，大数据技术都发挥着越来越重要的作用。

大数据技术

目前应用广泛的大数据技术主要包括Hadoop、Hbase、Hive等。作为一个分布式计算平台，Hadoop包括HDFS文件系统和MapReduce计算框架两部分；HDFS是一个并行的文件系统，提供高扩展性、高容错性，保证用于能够将大量低廉机器组织为一个分布式系统，以存放并管理海量数据。

作为一个分布式文件系统，HDFS(HadoopDistributedFileSystem)非常容易扩展，在存储海量海洋测绘数据时不需要将数据存放在一个集中的服务器上，而可以分散存储于不同的节点。HDFS的目的就是存放海量数据，所以比较适合处理TB甚至PB级别的数据。MapReduce也是Hadoop的核心组件，是一种并行计算模型，可以利用大量计算机的运算处理能力解决复杂的技术问题。

HBase是一个分布式NoSQL数据库，和传统的关系型数据库不同，HBase产生之初的目的是处理数据量很大的表，处理能力高达10亿行；HBase存储海量数据时通常结合HDFS文件系统。HBase中的数据表现为稀疏的、多维度的映射表，其中行关键字、列关键字以及时间戳充当了行索引，所有数据都是字符串类型。

Hive是基于HDFS文件系统的数据仓库框架，其组成部分和功能包括:ETL工具、数据存储管理、大型数据集的查询等；查询是通过类似SQL的HiveQL实现的。Hive提供了命令行(CLI)及图形界面(WebGUI)两种用户接口，也通过Thriftserver提供了API接口。

二、海洋测绘分析

2.1海洋测绘的基本特征

将测绘技术应用到海洋测绘时，需先进行三维坐标的测量，同时还应当采取不同的装置以及方法分别进行测量，并且还要记录下测量后的数据，确保其精准无误。不仅如此，在对海洋进行测绘时，一般都会测量船体下降的深度，也可以理解成船体的垂直坐标，将其与船体的平面位置同时测量。另外，在海洋测绘工作中，海中一般很难建立起控制点，那么这时就需要尽量选择海岛或测区附近的海工物作为海洋的监测点，这样方法在原来的基础上扩大了间距。因此，海洋测绘的作业距离要比陆地测绘距离长得多，而普通陆地测绘的间距一般不会超过50km，普通海洋的测绘间距一般处于50～500km之间，有时候测量作用距离甚至更大，严重影响了测绘的精准度。此外，外业工作人员在对陆地与海洋的测绘进行比较时，发现海洋的测绘处在一种动态变化的过程中，需要工作人员不断地对其进行测绘，在测绘过程中避免不了出现误差的情况，相对于陆地的测绘工作有着较大的难度。所以，相关人员可以应用声波来作为信号频，这样做可以有效保证海洋测绘数据的精准度。

2.2海洋测绘数据的特点分析

海洋测绘工作中，数据量庞大，这也给数据的存储、挖掘提出了难题，通过对海洋测绘工作的实际探究来看，其存在数据量庞大、测绘数据的结构和格式存在差异。

首先，海洋数据的测绘工作非常艰巨，需要布置大量监测点，并于监测点内设置相应的技术设备，让其可以实时监测海洋数据信息。监测点的设置存在有较大难度，必须要保障设备具有极强的防水性，还要能够在恶劣天气下依然正常工作。对于监测点来说，每一刻的信息数据采集工作均有着动态化的特征，而且数据量极为庞大，同时，还需要监测点设备时刻更新数据信息，因此，必须要有能够满足庞大信息数据存储需求的相关技术及设备。

其次，在解决海洋数据测绘中信息采集与存储的问题后，研究人员还面临着数据结构和格式差异的问题。与陆地上发达的数据信息网络相比，来自海洋中的数据因无完善的基础设施或设备进行转换，需要通过大量的监