物联网技术与应用 第3版 课件 第7章 大数据与云计算.ppt

7.6 本章小结 本章主要介绍了大数据、云计算及区块链技术的基础知识和发展历程，对其体系架构、关键技术和特性进行了详细的讲解，并结合时代背景分析了技术的产业现状，选取了大数据与云计算技术涉及的典型平台和软件进行阐述。通过对本章节的学习，使读者对大数据、云计算及区块链技术有一个初步的了解和认识，为之后将物联网与这些技术相结合打下基础。 物联网 武奇生 第7章 大数据与云计算 7.1大数据与云计算概述 背景：随着移动互联网、物联网、5G等技术的高速发展及其在各行各业中的广泛应用，数以亿计的设备接入网络，导致对处理能力、存储空间、数据资源的需求日益强烈，呈现出爆炸式增长的态势。 数字基础设施：云计算和大数据为代表的数字基础设施建设是支撑社会高速发展的科技新动力，也成为满足各类用户信息服务需求的基础。 7.1.1大数据的概念及发展 大数据定义：数据规模庞大，类型复杂，信息全面、维度高，难以基于传统软、硬件工具在有效的时间范围内进行采集、存储、分析、处理和展示的数据集合，对该数据集合进行处理有可能获得高价值处理结果，有助于机构或个人洞察事物真相，预测发展趋势，进行合理的判断和决策。 7.1.1大数据的概念及发展 2020年全球数据存储量达到47ZB，而到2035年，这一数字将达到2142ZB，全球数据量即将迎来更大规模的爆发。 7.1.2云计算的概念及发展 云计算定义：云计算是一种将硬件基础设施、软件系统平台等资源通过互联网以按需使用、按量计费的方式为用户提供动态的、高性价比的、规模可扩展的计算、存储和网络等服务的信息技术。 7.1.2云计算的概念及发展 科学计算 科研，军用 商用计算 银行，航空 个人计算 办公，游戏 互联网计算 搜索，电子商务大数据，人工智能 2020 1950 1990 1980 1960 7.1.3大数据与云计算的关系 大数据与云计算是相辅相成的。大数据着眼于“数据”，关注实际业务，提供数据采集分析挖掘，看重的是信息的积淀，即数据存储能力。云计算着眼于“计算”，关注对资源的灵活管理，看重的是计算能力，即数据处理能力。没有大数据的信息积淀，云计算的计算能力再强大，也难以找到用武之地；大数据的信息积淀再丰富，也需要云计算强大的处理能力。 7.2云计算架构与关键技术 7.2.2云计算关键技术 虚拟化技术 分布式并行编程模型技术 分布式数据存储技术 分布式任务调度技术 监控管理技术 云计算安全保障机制 云计算网络技术 绿色节能技术 ...... 云计算的目标是以低成本的方式提供高可靠、高可用、规模可伸缩的个性化服务。为了达到这个目标，需要数据中心管理、虚拟化、海量数据处理、资源管理与调度、绿色节能技术等若干关键技术加以支持。 7.2.3服务模式 SaaS PaaS IaaS －（Software as a Service）软件即服务 SaaS侧重于服务，通过网络提供软件程序服务 －（Platform as a Service ）平台即服务 PaaS侧重于服务，以服务器平台或者开发环境提供服务 －(Infrastructure as a Service)基础设施即服务 IaaS注重计算资源的共享 ，消费者通过 Internet 可以从完善的计算机基础设施获得服务 7.2.4部署模型 公有云：向公众提供计算资源的服务。资源共享、高性价比、弹性扩展。 私有云：为单个客户而构建。私有云的核心属性是专有资源。 混合云：融合公有云和私有云优势的云服务混合模式。 7.3大数据关键技术 数据采集技术 数据预处理技术 数据存储技术 数据处理技术 结果可视化技术 ...... 7.3.1大数据预处理 7.3.2大数据存储 7.3.3大数据分析 7.4云计算及大数据开源软件 7.4.1 OpenStack概述 OpenStack提供了一个部署云的操作平台或工具集。其宗旨在于，帮助组织运行为虚拟计算或存储服务的云，为公有云、私有云，也为大云、小云提供可扩展的、灵活的云计算。OpenStack通过各种互补的服务提供了基础设施即服务（IaaS）的解决方案，每个服务提供API以进行集成。 7.4.2容器开源软件：Kubernetes/Mesos/Docker 容器中运行的是一个或者多个应用程序，以及应用程序所需要的运行环境，可直接运行在操作系统内核之上的用户空间。容器技术是对进程（操作系统内核）的虚拟，从而可提供更轻量级的虚拟化，实现进程和资源的隔离，使得多个独立的用户空间可以运行在同一台宿主机上。Docker、Kubernetes及Mesos是三个典型开源容器项目。 7.4.3大数据开源软件：Hadoop/Spark