在hadoop中，将文件复制到主节点或从节点

Question

在处理map-reduce作业之前，我们应该将文件复制/放入hdfs吗？当我运行mapreduce示例时，我被教导将主节点中的hdfs和copyFromLocal文件格式化为master中的hdfs空间。

然后为什么有些教程说主节点只是将元数据告知客户端。笔记本电脑（客户端）会将文件块复制到数据节点而不是掌握？例如{25}在{25}。http://www.youtube.com/watch?v=ziqx2hJY8Hg。我基于本教程的理解是，文件（由块分割）将被复制到从属节点。所以我们不需要将文件复制/放入主节点。我很困惑。任何人都可以解释复制/复制文件的位置吗？

Answer 1

块不会被复制到主节点。 主（Namenode）将元数据发送到包含数据节点位置的客户端 由客户放置每个块。 没有实际的块数据传输到NameNode。

我发现这个comic是一个很好的hdfs解释

Answer 2

hadoop中的主节点（Namenode）只处理元数据（Datanode＆lt; - ＆gt;数据信息）。它不处理实际文件。实际的文件只存储在数据节点中。