新的Spark StreamingContext与hdfs错误一起失败

Question

我正在使用通过Azure ACS安装的dcos，并使用默认选项通过dcos工具安装hdfs和spark。

创建SparkStreamingContext给出：

16/07/22 01:51:04 WARN DFSUtil: Namenode for hdfs remains unresolved for ID nn1. Check your hdfs-site.xml file to ensure namenodes are configured properly. 
16/07/22 01:51:04 WARN DFSUtil: Namenode for hdfs remains unresolved for ID nn2. Check your hdfs-site.xml file to ensure namenodes are configured properly.
Exception in thread "main" java.lang.IllegalArgumentException:
java.net.UnknownHostException: namenode1.hdfs.mesos

我希望我必须使用dcos package install重新部署带有-options =的spark包，但无法确定hdfs.config-url应该是什么。 https://docs.mesosphere.com/1.7/usage/service-guides/spark/install/#hdfs文档似乎已过时。

Answer 1

是的，它已经过时了。我们会解决这个问题。

DC / OS HDFS现在在http://hdfs.marathon.mesos:[port]/v1/connect

上提供配置