MapReduce(十五): 从HDFS读取文件的源码分析，


以Map任务读取文本数据为例：


1)   LineRecordReader负责对文件分割的定位，以及对读取每一行内容的封装供用户Map任务使用。每次在定位在文件中不为0的位置时，多读取一行，因为前一个处理该位置之前的数据时，会完整把该一行已经读取并处理。

 

2)   LineReader负责对所要访问文件输入流的数据进行每一行读取，只实现对每一行读取的逻辑。


3)   DFSDataInputStream封装了DFSInputStream的实现，直接调用DFSInputStream接口完成。


4)   DFSInputStream，负责对所访问文件block的管理，提供定位block位置和提供block数据流读取的接口。

定位到所读取的位置在哪个block中后，打开与该block的socket连接，然后从封装socket的RemoteBlockReader中读取数据：


    根据定位到的block在哪个主机，打开与该主机的socket连接：


获取block信息后，开始获取数据流：


5)   RemoteBlockReader,对打开socket获取DataNode输入流DataInputStream进行封装，开始读取文件数据，文件数据是DataNode按照每个chunk封装一次传输给客户端，客户端给每个chunk检查数据完整性。

提供给上层读取socket中数据流接口：


开始从一个个chunk中读取数据：

 

每个chunk的读取：

6)   Block传输读协议

先是客户端打开连接后，向DataNode输入block的信息：


然后DataNode按照一个个chunk向DFSClient发送数据流供读，chunk的数据格式，按照数据读取先后顺序罗列：





相关内容