《云计算技术基础教程》教学课件—第八章-云计算与大数据.pptVIP

? Platform Computing Inc. 2003 - Proprietary Confidential * * 本章小结 Google研发了三大核心技术，即并行计算编程模型MapReduce；具有大数据存储和访问的分布式文件系统GFS（Google File System）；支持海量结构化数据管理的BigTable。这三项技术不仅为Google采用大量廉价计算机实现包括搜索业务在内的大数据处理能力提供了技术基础，还直接导致了目前被广泛应用的Hadoop云计算架构的产生与发展。目前，以Hadoop为基础的云计算技术已经成为大数据处理的主要核心平台，Hadoop经过其开源社区的不断拓展、性能优化和完善，已被众多的云计算和大数据企业如Google、Facebook、华为、百度、淘宝等作为大数据处理的技术平台。 大数据的世界不仅仅是一个单一巨大的分布式云计算网络，而是一个由大量活动构件与多元参与者元素所构成的生态系统，是终端设备提供商、基础设施提供商、网络服务提供商、网络接入服务提供商、数据服务使能者、数据服务提供商、触点服务、数据服务零售商等等一系列的参与者共同构建的生态系统。 项目名称：使用华为数据可视化平台发布可视化大数据。 背景知识：华为数据可视化（Data Lake Visualization，简称DLV）服务是一站式数据可视化开发平台，适配云上云下多种数据源，提供丰富多样的2D、3D可视化组件，采用拖拽式自由布局，旨在帮助客户快速定制和应用属于客户自己的数据大屏。华为DLV提供了基础版、高级版和专业版三种版本，为不同行业客户提供了一套直观、形象、全面的大数据信息的可视化展示平台。华为DLV具有以下主要特点： （1）丰富多样的可视化组件：提供丰富的可视化组件，包括常用的数据图表、图形、控件等。 （2）专业级地理信息可视化：支持绘制地理轨迹、地理飞线、热力分布、地域区块、3D地球等效果，支持地理数据多层叠加。 （3）图形化编辑界面：拖拽即可完成组件自由配置与布局、所见即所得，无需编程就能轻松搭建可视化大屏，并且依据投放设备分辨率，自由定制大屏尺寸。 （4）多种数据源支持：无缝集成华为云数据仓库服务、数据湖探索、关系型数据库、对象存储服务等，支持本地CSV、在线API及企业内部私有云数据。 * 拓展项目 * 拓展项目 * * * 云计算大数据 Cloud Computing * 第八章 * 云计算故事----你的举手投足都有价值 不知你是否已经注意到，在购物超市结算出口摆放着密密麻麻的不同的商品，相信有很多顾客在结算之前又从这些货架上顺手选择了一些自己喜欢的东西扔进了购物车。没错，这些在结算出口处摆放的商品，就是根据顾客的消费习惯、消费心理而有心设置的。超市通过监控，收集客户在店内走动情况以及与挑选商品的互动信息，并将这些大量数据与大量交易记录相结合进行深度挖掘和分析，从而找到顾客品牌偏好、消费习惯、商品选购的行为和心理之间的关系，从而商家可以精准采购、选位摆放，并结合对易销品牌商品的促销活动，从而提高销售效益和服务质量。 这就是大数据的魅力。或许，在你不经意之间，你的一举一动、一言一行、举手投足之间的动态信息就已经上传到了云数据中心的大数据平台了，这些看似凌乱的数据可能是无价之宝！ 第八章 云计算与大数据 * 本章导读 大数据（BigData）是信息化时代的时代产物。有人把数据比喻为蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类，而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似，大数据并不在“大”，而在于“有用”。价值含量、挖掘成本比数量更为重要。对于很多行业而言，如何利用这些大规模数据是赢得竞争的关键。 大数据具有容量大、种类多、结构复杂等诸多特点，需要利用相关技术实现非结构化存储、分布式和并行计算、数据挖掘等处理。而云计算技术是目前解决大数据问题最有效的手段。云计算提供了基础架构平台，大数据应用在这个平台上运行。 第八章 云计算与大数据 * 本章学习目标 随着云时代的来临，大数据也吸引了越来越多的关注。从技术上看，大数据与云计算的关系密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘，但它必须依托云计算的分布式处理、分布式数据库和云存储以及虚拟化技术等。 ? 学习目标 理解大数据的概念 理解大数据的主要特征 了解大数据与云计算的关系 了解MapReduce、Hadoop、HDFS等在大数据处理方面的作