我浏览了cloudera博客,得到了一篇文章(下面的链接)。请参阅第三点。
根据我的理解,如果有2个输入分割,那么第一个输入分割的记录阅读器将读取虚线。
如果我说得对,你能告诉我它是怎么做的,即第一次分割的记录阅读器如何通过输入分割读取断行?
答案 0 :(得分:1)
根据我的理解,如果有2个输入分割,那么第一个输入分割的记录阅读器将读取虚线。
是的,这是正确的。
你能告诉我它是怎么做的,即第一次分割的记录阅读器如何读取输入分割后的虚线
InputSplit
不包含原始数据,而是包含提取数据所需的信息。 FileInputSplit
(这是您所指的)包含文件的路径以及要在文件中读取的字节偏移量。然后由RecordReader
出去读取该数据。这意味着它可以读取超过分割定义的结束字节偏移量。