Hadoop HDFS存储位置

Question

我使用Eclipse使用单节点集群配置了Hadoop。 我有大量要解析的文本文件。 Eclipse提供直接上传文件到HDFS，但我无法找到，这些文件存储在我的驱动器中。

我们正在寻找的是HDFS配置的位置。这样我就可以直接将我的文本文件粘贴到该文件夹​​中。

Answer 1

这是在dfs.datanode.data.dir属性中设置的，默认为file://${hadoop.tmp.dir}/dfs/data（详见here）。

但是，您不能只将文件放在那里，因为HDFS不会自动发现它们。插入文件HDFS也涉及namenode的元数据操作。它不仅仅是复制文件这么简单。需要将文件分成块，并且需要在名称节点中更新正确的元数据数据结构。您应该继续使用Eclipse提供的接口将文件上传到HDFS，或者您可以在命令行中使用hdfs dfs -put）。