Dockerfile授予hdfs权限

时间:2020-08-22 00:12:07

标签: java apache-spark hadoop dockerfile hdfs

我有一个泊坞窗文件,该文件可以在容器中运行我想要的所有内容。在这种情况下,我想运行一个spark代码,并在dockerfile中授予在特定目录中写入的spark权限。

现在,我还希望允许spark在hdfs上运行。为此,我像在其他情况下一样使用“ chown -R”,但对于HDFS则不起作用。

1

这样,我可以在“ / usr / spark”目录中写入文件,但不能在hdfs中。有人可以告诉我我在做什么错吗?我不能对HDFS做同样的事情吗?

1 个答案:

答案 0 :(得分:0)

chown本身用于本地文件

您希望hadoop fs chown用于HDFS文件。

但是,您实际上应该在容器构建过程之外执行此操作,因为localhost:8020是容器本身,并且不是可访问的HDFS位置

相关问题