我在伪分布式单节点集群中运行Hadoop,我在将数据的默认位置从/var/lib/hadoop-0.20/cache/hadoop/dfs/data更改为某个永久位置时出现问题每次重启都不会被清除。我是Hadoop生态系统的新手。任何帮助都将得到高度评价。谢谢:))
答案 0 :(得分:1)
在dfs.data.dir
中设置hdfs-site.xml
应有所帮助。
默认设置为${hadoop.tmp.dir}/dfs/data
,这就是您的/var/lib/hadoop-0.20/cache/hadoop/dfs/data
的原因。
您可以在hdfs-default.xml docs中找到有关HDFS配置选项的更多信息。
您需要创建hdfs user
具有写权限的永久目录。让我们说/home/poulami/hadoopData/data
然后你需要在hdfs-site.xml中添加以下内容
<property>
<name>dfs.data.dir</name>
<value>/home/poulami/hadoopData/data</value>
<final>true</final>
</property>