大数据时代的数据概念分析和他.pdfVIP

范文范例参考

大数据时代的数据概念分析及其他

一、概念：

大数据是一个体量特别大，数据类别特别大的数据集，并且这样的数据集

无法用传统数据库工具对其内容进行抓取、管理和处理。大数据首先是指数据

体量(volumes)?大，指代大型数据集，一般在10TB?规模左右，但在实际应用中，

很多企业用户把多个数据集放在一起，已经形成了PB级的数据量；其次是指数据

类别(variety)大，数据来自多种数据源，数据种类和格式日渐丰富，已冲破了以

前所限定的结构化数据范畴，囊括了半结构化和非结构化数据。接着是数据处理

速度（Velocity）快，在数据量非常庞大的情况下，也能够做到数据的实时处理。

最后一个特点是指数据真实性（Veracity）高，随着社交数据、企业内容、交易

与应用数据等新数据源的兴趣，传统数据源的局限被打破，企业愈发需要有效的

信息之力以确保其真实性及安全性。

百度概念:

大数据(bigdata)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透

过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企

业经营决策更积极目的的资讯。大数据的4V特点：Volume、Velocity、Variety、

Veracity。

研究机构Gartner概念：

大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能

力的海量、高增长率和多样化的信息资产。从数据的类别上看，大数据指的是

无法使用传统流程或工具处理或分析的信息。它定义了那些超出正常处理范围和

大小、迫使用户采用非传统处理方法的数据集。亚马逊网络服务（AWS）、大数据

科学家JohnRauser提到一个简单的定义：大数据就是任何超过了一台计算机处理

能力的庞大数据量。研发小组对大数据的定义：大数据是最大的宣传技术、是

最时髦的技术，当这种现象出现时，定义就变得很混乱。Kelly说：大数据是

可能不包含所有的信息，但我觉得大部分是正确的。对大数据的一部分认知在于，

它是如此之大，分析它需要多个工作负载，这是AWS的定义。当你的技术达到极

限时，也就是数据的极限。大数据不是关于如何定义，最重要的是如何使用。

最大的挑战在于哪些技术能更好的使用数据以及大数据的应用情况如何。这与传

统的数据库相比，开源的大数据分析工具的如Hadoop的崛起，这些非结构化的数

据服务的价值在哪里。

二、大数据分析

从所周知，大数据已经不简简单单是数据大的事实了，而最重要的现实是对

大数据进行分析，只有通过分析才能获取很多智能的、深入的、有价值的信息。

那么越来越多的应用涉及到大数据，而这些大数据的属性，包括数量，速度，多

样性等等都是呈现了大数据不断增长的复杂性，所以大数据的分析方法在大数据

领域就显得尤为重要，可以说是决定最终信息是否有价值的决定性因素。基于如

此的认识，大数据分析普遍存在的方法理论有哪些呢？

大数据分析的五个基本方面：

1、可视化分析AnalyticVisualizations

完美Word格式整理版

范文范例参考

大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者

对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的

呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简

单明了。

2、数据挖掘算法DataMiningAlgorithms

大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的

数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这

些被全世界统计学家所公认的各种统计方法（可以称之为真理）才能深入数

据内部，挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法

才能更快速的处理大数据，如果一个算法得花上好几年才能得出结论，那大

数据的价值也就无从说起了。

3、预测性分析能力PredictiveAnalyticCapabilities

大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特点，

通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的