Hadoop大数据处理技术基础与实践（第3版）课件 第1章-Hadoop 概述 含思政文化 .ppt

第1章Hadoop概述1.Hadoop起源-LOGONutchGFS分布式存储系统论文MapReduce分布式处理技术论文200420031.Hadoop起源-发展历程1.Hadoop起源-发展历程1.Hadoop起源–设计思想1.使用普通机器高性能，低成本2.数据冗余（HDFS）3.并行化处理（MR）4.移动计算海量数据的情况下移动计算比移动数据更高效2.Hadoop体系架构–基本组件2.Hadoop体系架构–生态3.Hadoop与分布式开发C/SB/S3.Hadoop与分布式开发hadoop应用开发MapperReducer实现实现4.Hadoop应用案例1、Hadoop在中国传统文化的应用2、Hadoop在搜索引擎中的应用3、Hadoop在电商平台中的应用4.Hadoop应用案例1、Hadoop在中国传统文化的应用文化遗产保护：Hadoop可以用于存储和管理大量的文化遗产数据，例如历史建筑、文物和艺术品等。这些数据可以被组织、分析和可视化，以帮助文化机构和研究人员更好地了解和保护中国传统文化。古籍数字化：Hadoop可以用于处理大规模的古籍数据，包括扫描、OCR、文字识别和文本分析等。这有助于加快古籍数字化的进程，使得更多的人能够方便地访问和研究中国传统文化。民俗文化研究：Hadoop可以用于分析大规模的民俗文化数据，例如节日庆典、民间传说和习俗等。这可以帮助研究人员更好地了解和保护中国传统的民俗文化，促进文化多样性的发展。语言文化保护：Hadoop可以用于处理大规模的语言数据，例如语音、文本和图像等。这可以帮助保护和传承中国传统的语言文化，例如方言和少数民族语言等。总的来说，Hadoop可以为中国传统文化的保护、研究和传承提供支持，帮助我们更好地了解和珍惜这些文化遗产。4.Hadoop应用案例2、Hadoop在搜索引擎中的应用百度作为全球最大的中文搜索引擎公司，提供基于搜索引擎的各种产品，包括以网络搜索为主的功能性搜索，以贴吧为主的社区搜索，针对区域、行业的垂直搜索、MP3音乐搜索以及百科等，几乎覆盖了中文网络世界中所有的搜索需求。百度对海量数据处理的要求是比较高的，要在线下对数据进行分析，还要在规定的时间内处理完并反馈到平台上。百度在互联网领域的平台需求要通过性能较好的云平台进行处理，Hadoop就是很好的选择。在百度，Hadoop主要应用于日志的存储和统计；网页数据的分析和挖掘；商业分析，如用户的行为和广告关注度等；在线数据的反馈，及时得到在线广告的点击情况；用户网页的聚类，分析用户的推荐度及用户之间的关联度。4.Hadoop应用案例3、Hadoop在电商平台中的应用在eBay上存储着上亿种商品的信息，而且每天有数百万种的新商品在增加，因此需要用云系统来存储和处理PB级别的数据，而Hadoop则是个很好的选择。Hadoop是建立在商业硬件上的容错、可扩展、分布式的云计算框架，eBay利用Hadoop建立了一个大规模的集群系统——Athena，它被分为5层，如图所示。TheEnd*Page*NOWHandoutPage**