2-7-04-01-03-02大数据关键技术.2-7-04-01-03-02大数据关键技术.ppt

大数据技术创新应用冷链物流技术与管理资源库山东交通职业学院主讲教师：李海民

大数据概述01大数据采集和预处理02大数据存储与管理03大数据捕捉04大数据分析与计算05大数据可视化06大数据应用07目录Contents

01大数据概述1.大数据概念2.大数据分析和计算3.大数据关键技术4.大数据技术体系

1.3大数据技术体系01大数据技术栈02大数据计算支撑技术03Hadoop生态系统

1.3.2大数据计算支撑技术云计算(CloudComputing)技术云数据中心网络技术HadoopSpark大数据计算支撑技术

云计算大数据的强大后台是云计算。云计算(CloudComputing)技术云数据中心网络技术HadoopSpark大数据计算支撑技术1.云计算的概念云计算的概念比较抽象，但其含义是具体的。“云”看似是一个缥缈的概念，其实不然。在云端拥有着超级计算模式，在以互联网为连接基石的远程数据中心部署着几万、几十万甚至几百万台服务器和存储设备，且这些设备以虚拟化的形态出现，形成动态的、易扩展的资源池。对于“计算”可以这样理解，当用户请求计算、服务、存储需求时，不必建立数据中心，只需租用云服务提供商的资源即可，由提供商提供资源服务。如果当前资源不能满足应用需求，可以向云提供商缴纳额外的费用即可快速扩展当前资源。什么是云计算1.3.2大数据计算支撑技术

云计算大数据的强大后台是云计算。云计算(CloudComputing)技术云数据中心网络技术HadoopSpark大数据计算支撑技术云计算的主要特征是：什么是云计算1.3.2大数据计算支撑技术?超级计算能力；?高度可靠与安全；?弹性扩展；?成本低，效率高。?自助按需服务；?资源虚拟；

云计算2.云计算的服务形式云计算(CloudComputing)技术云数据中心网络技术HadoopSpark大数据计算支撑技术laaS是最基础的，是云的一个服务端，它把由多台服务器组成的“云端基础设施(包括内存、I/O设备、存储和计算能力)整合成一个虚拟的资源池，作为计量服务提供给用户。用户可以通过互联网从计算机基础设施获得服务。laaS是一种托管型硬件方式，用户付费即可使用提供商的硬件设施。1.3.2大数据计算支撑技术云服务基础设施即服务(Infrastructure-as-a-Service,IaaS)。

云计算2.云计算的服务形式云计算(CloudComputing)技术云数据中心网络技术HadoopSpark大数据计算支撑技术PaaS把开发环境作为一种服务来提供。PaaS能够给企业或个人提供研发的中间件平台，提供应用程序开发、数据库、应用服务器、试验、托管及应用服务。用户可以利用这个平台在已有软件的基础上进一步发展或研发软件。PaaS环境能够与一些软件开发工具相结合，如Java、NET、Python等，方便用户进行编码以及在网络上共享他们的程序编码。1.3.2大数据计算支撑技术云服务平台即服务(Platform-as-a-Service,PaaS)。

云计算2.云计算的服务形式云计算(CloudComputing)技术云数据中心网络技术HadoopSpark大数据计算支撑技术SaaS服务提供商将应用软件统一部署在自己的服务器上，用户根据需求通过互联网订购应用软件服务。服务提供商根据客户所定软件的数量、时间的长短等因素收费。这种服务模式的优势体现在：它由服务提供商维护、管理软件，提供软件运行的硬件设施；用户只需拥有能够接入互联网的终端，即可随时随地使用软件。1.3.2大数据计算支撑技术云服务软件即服务(Software-as-a-Service,SaaS)。

云计算3.云计算系统总体架构云计算(CloudComputing)技术云数据中心网络技术HadoopSpark大数据计算支撑技术1.3.2大数据计算支撑技术目前，从技术架构视角来看，无论是私有云、公有云，还是混合云，在宏观上可将云计算整体架构划分为云运营(CloudBSS)、云运维(CloudOSS)以及云平台系统(IaaS/PaaS/SaaS)三大子系统。

云计算3.云计算系统总体架构1.3.2大数据计算支撑技术云端在基础设施层、数据层，以及应用平台层上，将分散的、独立的多个信息资产孤岛，依托相应层次的分布式软件实现逻辑上的统一整合，然后基于此资源池，以WebPortal或者API为界面，向云租户提供按需分配与释放的服务：云租户可以通过WebPortal或者API界面向云端计算平台提出自动化、动态、按需的服务能力消费请求，并得以满足。云计算数据中心解决系统云租户/云服务消费者云应用开发者云设备/物理基础设