消除Hadoop中的DFS

Question

如何在Hadoop中清除DFS？

Answer 1

你需要做两件事：

1. 从每个节点删除主hadoop存储目录。该目录由hdfs-site.xml中的hadoop.tmp.dir属性定义。

2. 重新格式化namenode：

hadoop namenode -format

如果你只做（2），它只会删除namenode存储的元数据，但不会删除所有临时存储和datanode块。

Answer 2

bin/hadoop namenode -format

Answer 3

hdfs dfs -rm -r "/*"

（旧答案已被弃用）

Answer 4

所以这就是我过去必须做的事情。

1。导航到NameNode上的hadoop目录，然后停止所有hadoop进程。通过运行默认的stop-all脚本。这也将停止DFS。 e.g。

cd myhadoopdirectory
bin/stop-all.sh

2。现在，在群集中的每台计算机上（Namenodes，JobTrackers，datanodes等），删除主hadoop存储中的所有文件，将其设置为根文件夹中的temp文件夹。您可以在hadoop.tmp.dir属性下的conf hdfs-site.xml文件中找到它。例如

cd /temp/
rm -r *

3。最后返回到您的名称节点，并通过转到hadoop目录并运行'bin / hadoop namenode -format'进行格式化，例如

cd myhadoopdirectory
bin/hadoop namenode -format

4。运行以下命令再次启动集群。它还将再次启动DFS。

bin/start-all.sh

5。它应该工作。

Answer 5

您可以发出

hadoop fs -rmr /

这将删除DFS下的所有目录和子目录。

另一个选择是停止群集，然后发出：

hadoop namenode -format

这将清除DFS上的所有内容，然后再次启动群集。

Answer 6

1. 您需要致电bin/stop-all.sh以停止dfs和mapreduce。
2. 删除在 conf / hdfs-site.xml 和 conf / mapred-site.xml 中配置的数据目录。
3. 确保您删除了/ tmp目录中存在的一些临时文件。

完成上述所有步骤后，您可以调用bin/hadoop namenode -format重新生成dfs。

Answer 7

1. 停止群集

   ${HADOOP_HOME}/bin/stop-mapred.sh

   ${HADOOP_HOME}/bin/stop-dfs.sh

   或者如果它是伪分布的，只需发出：

   ${HADOOP_HOME}/bin/stop-all.sh

2. 格式化你的hdfs

   hadoop namenode -format