06 《大数据导论》第6章 大数据计算技术.pptx

of

50

1

第六章大数据处理技术

谁来

“第一个”吃

NumberOne

呢？

of

50

3

6.1大数据处理技术概述

1.什么叫云？知道哪些云？用过哪些云？

2.你听说过IBM？Orcale?EMC？

第六章大数据处理技术

Question？

of

50

4

6.1大数据处理技术概述

集中式是指由一台或多台主计算机组成中心节点，数据集中存储于这个中心节点中，并且整个系统的所有业务单元都集中部署在这个中心节点上，系统的所有功能均由其集中处理。集中式架构案例是IOE（IBM，Oracle，EMC）提供的计算设备、数据库技术和存储设备共同组成的系统。

分布式系统就是一群独立计算机集合共同对外提供服务，但对系统用户来说，就像是一台计算机在提供服务一样。分布式意味着可采用更多普通计算机（相对于昂贵的大型机）组成分布式集群对外提供服务。

第六章大数据处理技术

1．集中式与分布式计算架构

of

50

5

6.1大数据处理技术概述

第六章大数据处理技术

1．集中式与分布式计算架构

大型主机诞生于20世纪60年代，通常是指System/360开始的一系列IBM计算机及其兼容系统，一般使用专用的处理器指令集、操作系统和应用软件，因此是一个硬件和专属软件的有机整体。

集中式数据计算架构包括大型主机和超级计算机

超级计算机，又称巨型机，运算速度大都可以达到每秒1太万亿(Trillion)次以上，被用于各个领域的计算密集型任务中，包括量子力学、天气预报、气候研究、石油和天然气勘探、分子建模、核武器爆炸和核聚变模拟。巨型机的研制水平是国家综合国力和科技水平的具体反映。

天河二号

神威•太湖之光

（1）集中式数据计算架构

of

50

6

6.1大数据处理技术概述

第六章大数据处理技术

1．集中式与分布式计算架构

分布式计算架构是把需要进行大量计算的数据分区成小块，由多台计算机分别计算，再上传运算结果，将结果统一合并，得出数据结论。分布式计算中的数据存储、任务处理是分布在网络中的不同机器上。每台机器都是一个独立的系统，都有自己的中央处理器、终端、数据库等，它们在物理上是分散的，在逻辑上属于同一系统。与集中式计算相比，分布式计算有如下优点：

（2）分布式计算架构

高度的可靠性

均衡负载

高性价比

扩展性好

处理能力强

of

50

7

6.1大数据处理技术概述

1.大数据处理流程？

2.想没想过搭建（开发）大数据计算平台？

第六章大数据处理技术

Question？

of

50

8

6.1大数据处理技术概述

第六章大数据处理技术

2．大数据处理平台架构

大数据处理平台架构可划分为四个层次：数据采集层、数据存储层、数据处理层、服务封装层

of

50

9

6.1大数据处理技术概述

第六章大数据处理技术

3．典型的大数据计算平台

大数据类型

批量大数据：静态的大体量数据

流式大数据：动态数据

大规模图数据：大规模的图结构数据

大数据分布式计算平台Hadoop、Spark

计算模型：离线批处理、图并行计算、交互式处理、流计算、内存计算

of

50

10

6.1大数据处理技术概述

第六章大数据处理技术

Disscussion？

of

50

11

of

50

12

（1）什么是Hadoop

6.2Hadoop分布式计算平台

Hadoop是开源社区Apache基金会下用Java语言开发的一个开源分布式计算平台，适合分布式海量数据存储和处理的大数据存储和计算引擎；以分布式文件系统HDFS(HadoopDistributedFileSystem)、分布式计算框架MapReduce和和资源管理系统YARN为核心。

Hadoop实现了从单一的服务器扩展到成千上万的机器，提供了在分布式环境下处理海量数据的能力，为用户提供了底层细节透明的分布式基础设施，被公认为行业大数据标准开源软件。

第六章大数据处理技术

1．Hadoop概述

of

50

13

（2）Hadoop起源

发起人-DougCutting，负责lucene项目开发。

Lucene：用Java设计的高效能全文索引引擎，用它可以开发搜索引擎。

Nutch（DougCutting负责）：原来是搜索，现在是爬虫。

开源网站搜索引擎

基于Lucene开发

具有爬虫功能

无法扩展支持数十亿网页的网络，遇到了大量网站资料存储和处理的需求。

Google2003年和2004年发表论文，介绍了他们的技术：GFS和Mapreduce

DougCutting受此启发，成立了Hadoop（孩子给棕黄色大象起的名字）开源项目。2006年，DougCutting加入雅虎，成立团队，支持项目开发。

2008年，hadoop成为Apache顶级项目，成为最快的