Hadoop分布式文件系统HDFS深入教程_2024-07-09_08-42-40.lever.pdfVIP

Hadoop分布式文件系统分布式文件系统HDFS深入教程深入教程

HDFS概述概述

1.HDFS架构详解架构详解

Hadoop分布式文件系统（HDFS）是Hadoop项目的核心组件之一，设计用于在大规模集群中存储

和处理大量数据。HDFS采用主从架构，主要由以下三个组件构成：

•NameNode:负责管理文件系统的命名空间，包括文件和目录的元数据，以及文件块的位

置信息。NameNode是HDFS的主节点，存储了文件系统树以及文件树中所有文件和文件

夹的元数据。

•DataNode:存储实际的数据块，执行数据块的读/写操作。DataNode是HDFS的从节点，

它们根据NameNode的指令进行数据块的创建、删除和复制。

•SecondaryNameNode:并非集群运行所必需，但用于合并NameNode的fsimage和editlog文

件，减少NameNode的启动时间。它定期从NameNode上下载fsimage和editlog文件，将它

们合并，然后将新的fsimage文件传回给NameNode。

1.1架构图示例架构图示例

graphTD

N[NameNode]--D(DataNode)

N--S[SecondaryNameNode]

D--|Data|Client

S--|Merge|N

2.HDFS数据存储机制数据存储机制

HDFS将文件分割成多个块进行存储，每个块默认大小为128MB（在Hadoop2.x版本中），并存

储在集群中的多个DataNode上。这种机制提高了数据的容错性和并行处理能力。

•数据块复制数据块复制：为了提高数据的可靠性和可用性，HDFS会将每个数据块复制多份，默认情

况下，每个块会被复制3份，分别存储在不同的DataNode上。

•数据块位置信息数据块位置信息：NameNode维护着文件块的位置信息，当客户端请求读取文件时，

NameNode会返回文件块的位置信息，客户端直接从DataNode读取数据。

2.1代码示例：上传文件到代码示例：上传文件到HDFS

importorg.apache.hadoop.conf.Configuration;

importorg.apache.hadoop.fs.FileSystem;

importorg.apache.hadoop.fs.Path;

publicclassHDFSFileUploader{

publicstaticvoidmain(String[]args)throwsException{

//HDFS的地址

StringhdfsUri=hdfs://localhost:9000;

//要上传的本地文件路径

StringlocalFilePath=/path/to/local/file.txt;

//HDFS上的目标路径

StringhdfsFilePath=/path/to/hdfs/file.txt;

//创建Hadoop配置对象

Configurationconf=newConfiguration();

//获取HDFS文件系统对象

FileSystemfs=FileSystem.get(newURI(hdfsUri),conf);

//创建HDFS上的目标路径

Pathdst=newPath(hdfsFilePath);

//上传文件

fs.copyFromLocalFile(newPath(localFilePath),dst);

//关闭文件系统对象

fs.close();

}

}

3.HDFS与传统文件系统的区别与传统文件系统的区别

HDFS设计用于处理大规模数据集，与传统文件系统相比，有以下显著区别：

•数据块大小数据块大小：HDFS的数据块大小远大于传统文件系统，以减少寻址开销。

•文件写入模式文件写入模式：HDFS支持一