大数据技术及其应用.pdfVIP

大数据技术及其应用 第一章 大数据概论 当移动通信和互联网给我们带来的生活方式、思维方式的巨大改变还没有消退的时候， 大数据时代以排山倒海之势到来，什么是大数据？大数据能为人们带来哪里益处？大数据 如何改变人们的生活、工作和学习？大数据下的政府、企业和过去有什么不同？这一系列 的问题困扰着很多人，甚至连一些专家学者也对此迷惘。在人人都谈大数据的时代并不是 每个人都真正理解大数据的精髓，因此本章给读者简单的介绍一下大数据的定义、原理、 方法、应用及存在的问题。以后各章将介绍与大数据有关的技术、工具、商业模型及应用 案例等，引导读者逐步深入，了解和掌握大数据的基本知识和技能，为从事大数据及其相 关产业打下基础。 1.1 大数据的定义 大数据 （BigData）是指数据量大到用常规工具和方法无法进行处理的蕴含着大量价 值的数据集合。 因此大数据的核心是价值，数据量大只是大数据的表象，这也是为什么大数据引起业 界广泛关注的重要原因。由此可见，对于大数据的研究和应用主要集中于两点:一、从技 术层面研究大数据的模型及处理算法、开发相应的处理工具等；二、从商业模式层面寻找 大数据的商业模型、盈利模式、产业发展等。 维克托〃迈尔-舍恩伯格和肯尼斯〃库克耶编写的 《大数据时代》中指出大数据指不 用随机分析法 （抽样调查）这样的捷径，而采用对所有数据进行分析处理。大数据的 4V 特点：Volume （大量）、Velocity （高速）、Variety （多样）、Value （价值）。从该定 义看来大数据仍然体现在数据量大和价值两方面。 知名研究机构 Gartner 对大数据给出了这样的定义。 “大数据”是需要新处理模式才 能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 Gartner 的定义更多的倾向于大数据的决策优化作用。 大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有价值的数据进 行专业化处理。换言之，如果把大数据比作一种产业，初级或者粗糙的大数据产业主要是 提高对数据的 “加工能力”，通过 “加工”实现数据的 “增值”；而更高层次的大数据产 业将数据信息产生的价值应用到具体的行业，发挥行业价值，从而实现数据信息价值的倍 增。这样才能真正体现大数据的价值所在。 1.2 大数据与海量信息的关系 在 10 年前，我们经常听到一个名词“海量信息”，用来描述大量数据，这是在信息 技术飞速发展的大背景下，数据量增加带来的现实问题，为此国家在 “十一五”期间还加 大的对海量信息及其相关技术的研究。下面是国家科技部“973”计划对信息领域的项目 资助指南。 “十一五”期间，信息领域基础研究的发展目标是根据国际信息技术的发展趋势，结 合我国的国情和发展状况，着重从信息获取、处理、传输、存储、再现、安全、利用，信 息系统的基础元器件、信息处理环境、科学计算、人工智能、控制理论等方面开展系统深 入的研究，为我国信息产业的跨越式发展奠定坚实的理论和技术基础。 “十一五”期间， 重点研究方向包括： （1）微纳集成电路、光电子器件和集成微系统的基础研究； （2）信息处理环境及 科学计算的基础研究； （3）泛在、可控的下一代信息网络的基础研究； （4）信息获取 的基础研究； （5）高可信、高效率软件的基础研究； （6）智能信息处理、和谐人机交互的基础 研究； （7）海量信息处理、存储及应用的基础研究； （8）量子通信的基础研究； （9） 信息安全的基础研究 从科技部 973 重大基础研究计划资助的领域中可以看出，国家加大了对海量信息的研 究力度，这里就产生了一个疑问，大数据大还是海量数据大？二者有何联系？又有什么区 别？ 海量信息仅仅是从数据量上进行界定，海量数据指数据量巨大，用普通的方法和工具 处理起来相对困难，其计算时间和运算量较大，需要开发新的存储、处理和挖掘等技术才 可以进行快速处理。大数据的数据量明显远大于海量数据，当然二者没有严格的区分门限， 通常意义上讲，大数据的数据量要大于海量数据。海量数据的很多分析处理技术可以用于 大数据的分析与处理，同样大数据的相关理论和方法同样可以用于海量数据。大数据不仅 仅从量上进行了分析，而且从本质上进行了定义，突出了其核心价值。因此可以说大数据 是海量数据的升级，大数据更突