本文共 472 字，大约阅读时间需要 1 分钟。

读流程详述

以hadoop fs -get /a.txt /root为例，三副本，文件切成了三个block，分别存放在三台DataNode上。 

1.客户端发起下载文件请求。

2.NameNode收到请求后，进行权限检查以及文件目录检查。

3.获取文件的block信息，由于block是三副本，所以会按网络情况进行排序获得主机列表。

4.将三个block的主机列表返回给客户端。之所以返回主机列表是担心只返回一台主机，万一网络出了故障就无法取数据了。

5.客户端同时和三个DataNode建立pipeline(这里只是为了说明过程，而假定的返回的最优主机是三台，实际有可能是一台或者两台，也就是说比如三个block都从DataNode1上取)

6.分别按package为单位读取block。

7.读取完成后，在本地进行合并。

面试问题

1.请简述HDFS读流程

客户端发起读请求，NameNode进行权限检查以及文件目录检查，之后获取block的主机列表返回给客户端。客户端和每个列表的第一台主机建立pipeline开始读数据。读完后在本地合并。

转载地址：https://blog.csdn.net/xingyunyang/article/details/126298655 如侵犯您的版权，请留言回复原文章的地址，我们会给您删除此文章，给您带来不便请您谅解！