Hadoop哪个节点会将输入数据拆分为多个块?

时间:2018-02-03 03:45:45

标签: hadoop mapreduce hdfs hadoop-streaming

我是新来的hadoop有几个问题?

  1. 哪个节点会将输入数据拆分为多个块?
  2. 根据短路径查找datanode。问题是找到客户端与datanode或datanode与namenode之间的短路径?

1 个答案:

答案 0 :(得分:2)

client writes the blocks directly to the datanodes after communicating with the namenode for allocating block locations

我不明白第二部分。必须联系namenode以便任何客户端知道块的位置。如果没有namenode,则无法检索整个文件内容