SparkContext无法在＆＃39; yarn-client＆＃39;中初始化。从Scala-IDE调用的模式

Question

我已经安装了Cloudera VM（单节点），在这个VM中，我有一个在Yarn上运行的Spark。我想使用Eclipse IDE（带有scala插件）​​来测试/学习Spark。

如果我按照以下方式实例化SparkContext，那么一切都按预期工作

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext._

val sparkConf = new SparkConf().setAppName("TwitterPopularTags").setMaster("local[2]")

但是，如果我现在想通过将主服务器更改为＆＃39; yarn-client＆＃39;来连接到本地服务器。然后它不起作用：

val master = "yarn-client"
val sparkConf = new SparkConf().setAppName("TwitterPopularTags").setMaster(master)

特别是我得到以下错误：

Eclipse控制台中显示的错误详细信息：

NodeManager日志的错误详细信息：

以下是我到目前为止所尝试的内容： 的 1。依赖 我通过Maven存储库添加了所有依赖项 Cloudera版本为5.5，相应的Hadoop版本为2.6.0，Spark版本为1.5.0。

2。构造 我在Eclipse类路径中添加了3个路径变量：

• SPARK_CONF_DIR =的/ etc /火花/ CONF /
• HADOOP_CONF_DIR = / usr / lib中/ hadoop的/
• YARN_CONF_DIR =的/ etc / hadoop的/ conf.cloudera.yarn /

有人可以澄清一下这里的问题和解决方法吗？

Answer 1

我在附近工作过！我仍然不明白确切的问题是什么，但我在hadoop中创建了一个包含我的用户名的文件夹，即/ user / myusername 目录，并且它有效。无论如何，现在我改用了Ho​​rtonworks发行版，我发现它比Cloudera发行版更加顺畅。