HDFS读写原理
发布日期:2021-08-16 13:28:10 浏览次数:57 分类:技术文章

本文共 1448 字,大约阅读时间需要 4 分钟。

1.HDFS读取文件

(1)首先调用FileSystem对象的open方法,其实获取的是一个DIstributedFileSystem的实例。

(2)DistributedFileSystem通过RPC(远程过程调用)获得文件的第一批block的locations,同一block按照重复数会返回多个location,这些location按照hadoop拓扑结构排序,距离客户端近的排在前面。

(3)前两步会返回一个FSDataInputStream对象,该对象会被封装成DFSInputStream对象,DFSInputStream可以方便管理DataNode和NameNode数据流。客户端调用read方法,DFSInputstream就会找到离客户端最近的DataNode并连接DataNode。

(4)数据从DataNode源源不断的流向客户端。

(5)如果第一个block块的数据读完了,就会关闭指向第一个block的DataNode连接,接下来读取下一个block块。这些操作对客户端来说是透明的,从客户端的角度来看只是读一个持续不断的流。

(6)如果第一批block都读完了,DFSInputStream就会去NameNode拿下一批blocks的location,然后继续读,如果所有的block块都读完,这时会关闭所有的流。

 

 2.HDFS写文件

(1)客户端通过调用DistributedFileSystem的create方法,创建一个新文件。

(2)DistributedFileSystem通过RPC(远程过程调用)调用NameNode,去创建一个没有blocks关联的新文件。创建前,NameNode会作各种校验,比如文件是否存在,客户端有无权限去创建等。如果校验通过,NameNode就会记录下新文件,否则就会抛出IO异常。

(3)前两步结束后返回FSDataOutputStream对象,和读文件的时候相似,FSDataOutputStream被封装成DFSOutputStream,DFSOutputStream可以协调NameNode和DataNode。客户端开始写数据到DFSOutputStream,DFSOutputStream会把数据切成一个个小packet,然后排成队列data queue。

(4)DataSteamer会去处理接收data queue,它先询问NameNode这个新的block最适合存储在哪几个DataNode里,比如重复数是3,那么就找到3个最合适的DataNode,把他们排成一个pipeline。DataStreamer把packet按队列输出到管道的第一个DataNode中,第一个DataNode又把packet输出到第二个DataNode中,以此类推。

(5)DFSOutputStream还有一个队列叫做ack queue,也就是packet组成的,等待DataNode的收到响应,当pipeline中的所有DataNode都表示已经收到的时候,这时候ack queue才会把对应的packet包移除。

(6)客户端完成写数据后,调用close方法关闭写入流。

(7)DataStreamer把剩余的包都刷到pipeline里,然后等待ack消息,收到最后一个ack后,通知DataNode把文件标识为已完成。

 

(原文)

 

转载于:https://www.cnblogs.com/qqiua/p/9721358.html

转载地址:https://blog.csdn.net/weixin_30807779/article/details/98261575 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:BGP的状态机制
下一篇:你所不知道的单例模式和多线程并发在单例模式中的影响

发表评论

最新留言

哈哈,博客排版真的漂亮呢~
[***.90.31.176]2024年03月08日 06时59分00秒