Spark提交的HDFS路径和YARN上的Flink

时间:2015-06-05 13:47:32

标签: java hadoop apache-spark hdfs apache-flink

我使用cloudera live vm,我有一个hadoop和spral独立群集。 现在我想用spark提交和flink运行脚本提交我的工作。这也有效。但我的应用程序可以在hdfs中找到输入和输出文件的路径。 我设置路径如:hdfs://127.0.0.1:50010 / user / cloudera / outputs 我从这个端口得到的信息: enter image description here

如何在java中设置hdfs的路径??

最好的问候, 保罗

1 个答案:

答案 0 :(得分:3)

您不必设置DataNode主机的路径。在“概述”页面上,您将看到NameNode的连接信息,这也是您必须连接的位置。