删除远程hadoop集群中的克隆文件

Question

我在GitHub上创建了一个存储库，并将其克隆到远程hadoop集群git clone <link of my repository>。 现在我想从hadoop集群中删除此存储库。我怎样才能做到这一点？ 我试过了cd hadoop fs -rm -r <my repository in cluster>，但它说：

  

没有这样的文件或目录

Answer 1

您缺少重要细节：Hadoop分布式文件系统（HDFS）是与群集节点的本地文件系统不同的文件系统。读取/写入/访问HDFS的唯一方法是通过hdfs shell命令。

git clone不会将内容上传到hdfs ...

您需要使用shell命令ssh到远程集群并删除您克隆的目录：

>ssh username@clusterNodeIP
>rm -r pathOfGitFolder

这将从远程群集中删除git文件夹（它从未上传到HDFS）。如果你想将它上传到HDFS，你应该在克隆之后使用hadoop shell命令（比如hdfs -copyFromLocal）。

有关详细信息，建议您阅读：
https://confluence.atlassian.com/bitbucketserver/basic-git-commands-776639767.html 和 https://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-common/FileSystemShell.html