大数据分析及处理综述.pdfVIP

I互联网+技术

nternetTechnology

大数据分析及处理综述

□董学润中国电力财务有限公司华东分公司

【摘要】如今，数据越来越成为全球科技竞争的制高点，拥有了海量数据就拥有了重要的战略资源。大数据技术在许多领域都发挥

了重要作用，大数据技术一般是以大数据分析及处理为核心，掌握大数据分析及处理技术，能获取丰富的数据资源，也能够最大限度

的开发数据价值。本文重点介绍大数据分析与处理技术。

【关键词】大数据大数据分析处理大数据发展情况

引言达99.4%，这一窘境很大程度上是因为这些含有高价值的数

在当今的大数据时代背景之下，数据发展的脚步会越来据无法采集。如何对有价值的信息数据进行采集成为了大数

越快，数据中包含的信息也会越来越丰富。而要获取数据中据发展的关键一步。

的价值，掌握大数据分析与处理方法是关键，本文的目的就1、含义

是让人们了解大数据处理的关键技术以及大数据未来的发展数据采集的另外一个名字叫做数据获取，是指从传感器

趋势。和其他待测设备等模拟和数字被测单元中自动采集信息的过

一、大数据的含义程。数据采集是进行大数据分析的先决条件，在整个分析与

大数据是当前社会科技当中的一个热点概念，各行各业处理过程中占有十分重要的位置。大数据的采集主要有以下

中我们都会听到大数据这个词，但是大数据到底是什么，大三种方式：系统日志采集法、网络数据采集法以及其他数据

部分人却不是很了解。我们当前所说的大数据包含两层含义。采集法。

一是从表意上来看，人们的各种社会行为会产生相应数据，2、方法

这些数据汇集在一起，成为表意上的“大”数据，我们也把（1）系统日志采集法。系统日志可以记录下系统中的

这样的数据称为基础数据。二是从技术层面来看，大数据是硬件、软件等的信息，同时也可以监测系统里的行为。用户

指大数据技术，也就是本文的大数据分析与处理技术。数据可以通过这一过程来检查错误出现的原因，或者时寻找受到

资源之所以宝贵，究其原因在于其可以价值化，大数据分析侵入时攻击者留下的痕迹。系统日志包括系统日志、应用

与处理技术正是将数据价值化的途径。[1]从释义上来说，大程序日志和安全日志。（百度百科）大数据平台或者说类

数据，它的英文名字是bigdata，是信息技术领域当中的一似于开源Hadoop平台会产生大量高价值系统日志信息，如

个行业术语，它是一种信息资产，具有量大、增长率高等特点。何采集成为研究者研究热点。目前基于Hadoop平台开发的

大数据的采集和处理没有办法使用普通的分析软件和工具，Chukwa、Cloudera的Flume以及Facebook的Scribe（李联宁，

而需要一个与时俱进的模式才能够挖掘出它的最大价值。2016）均可成为是系统日志采集法的典范。目前此类的采集

通俗来说，大数据的解释就是大量的数据，顾名思义，技术大约可以每秒传输数百MB的日志数据信息，满足了目

就是数量多、范围广的意思，而数据是信息等各方面的数据前人们对信息速度的需求。一般而言与我们相关的并不是此

资料，结合起来就是量多、范围广的信息数据资料。类采集法，而是网络数据采集法。

《大数据时代》中提出了大数据的四个特性：volume、