通过Record Reader读取虚线

时间:2014-12-04 11:50:40

标签: hadoop

我浏览了cloudera博客,得到了一篇文章(下面的链接)。请参阅第三点。

http://blog.cloudera.com/blog/2011/01/lessons-learned-from-clouderas-hadoop-developer-training-course/

根据我的理解,如果有2个输入分割,那么第一个输入分割的记录阅读器将读取虚线。

如果我说得对,你能告诉我它是怎么做的,即第一次分割的记录阅读器如何通过输入分割读取断行?

1 个答案:

答案 0 :(得分:1)

  

根据我的理解,如果有2个输入分割,那么第一个输入分割的记录阅读器将读取虚线。

是的,这是正确的。

  

你能告诉我它是怎么做的,即第一次分割的记录阅读器如何读取输入分割后的虚线

InputSplit不包含原始数据,而是包含提取数据所需的信息。 FileInputSplit(这是您所指的)包含文件的路径以及要在文件中读取的字节偏移量。然后由RecordReader出去读取该数据。这意味着它可以读取超过分割定义的结束字节偏移量。