原创力文档- 1、本文档共8页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
浙江经贸职业技术学院储与计算大数据存大数据基础Unit3《大数据基础》.移动商务营销课程群3.1.1分布式存储概述3.1.2HDFS工作原理3.1.3HDFS基础命令3.1分布式存储
3.1.2HDFS工作原理2003年至2006年，Google发布了著名的三大论文，分别是：2003年发布的分布式文件系统GoogleFileSystem，2004年发布的分布式并行计算框架MapReduce，2006年发布的大型的分布式数据库Bigtable。以三大论文为基础，演化出了开源项目Hadoop，Hadoop的核心是分布式文件存储系统HDFS和分布式并行计算框架MapReduce。
3.1.2HDFS工作原理1HDFS概述?HDFS（HadoopDistributedFileSystem）HDFS全称Hadoop分布式文件系统，是由Google在2003年发布的分布式文件系统GoogleFileSystem论文基础上演化而来的开源版本。HDFS是Hadoop生态系统中非常重要的一环，它为管理大数据资源池和支撑相关大数据分析应用提供了一个具有高可靠性的工具。
3.1.2HDFS工作原理1HDFS概述?HDFS的优缺点HDFS的优点：高容错性，数据自动保存多份；被设计为能够部署在低廉的硬件上；提供高吞吐量来访问应用程序的数据，适合处理大数据；流式文件访问，允许一次写入，多次读取；适合进行批处理。HDFS的缺点：不善于处理低延迟数据访问；不善于处理小文件存取；不支持并发写入，一个文件同时只能被一个写入者修改。
3.1.2HDFS工作原理2HDFS中的基础概念HDFS中的存储单元是数据块，它的默认大小是64M，也就是HDFS中的文件是被分成一块块的64M的数据块存储的。数据块（Block）维护着文件系统树及整棵树内所有的文件和目录，并以两个文件形式永久保存在本地磁盘上：命名空间镜像和编辑日志。该节点也记录着每个文件中各个数据块所在的数据节点信息。元数据节点（NameNode）是真正存储数据的地方。客户端（client）和元数据节点可以向数据节点请求写入或者读出数据块。该节点也需要周期性的向元数据节点汇报其存储的数据块信息。数据节点（DataNode）主要功能是周期性的将元数据节点的命名空间镜像和编辑日志合并，以防日志文件过大；合并后的命名空间镜像也会在该节点保存一份。从元数据节点（SecondaryNameNode）
3.1.2HDFS工作原理3HDFS中文件写入操作流程客户端（HDFSClient）元数据节点（NameNode）数据节点（DataNode）
3.1.2HDFS工作原理4HDFS中文件读取操作流程客户端（HDFSClient）元数据节点（NameNode）数据节点（DataNode）
《大数据基础》在线开放课程组《大数据基础》.移动商务营销课程群
文档评论（0）