无法从IDEA

时间:2016-06-29 02:53:17

标签: hadoop intellij-idea apache-spark yarn

从IDEA Intellij以纱线客户端模式提交作业时遇到连接问题。

我确实设置了env变量并通过打印它们来仔细检查它:

System.setProperty("YARN_CONF_DIR",  "D:\\HadoopDev\\UserClick\\src\\main\\resources\\hadoop-vm");

System.setProperty("HADOOP_CONF_DIR", "D:\\HadoopDev\\UserClick\\src\\main\\resources\\hadoop-vm");

但我仍然收到错误消息告诉我:

  

INFO - 在/0.0.0.0:8032连接到ResourceManager   信息 - 重试连接到服务器:0.0.0.0/0.0.0.0:8032。已经尝试了0>时间;重试策略是RetryUpToMaximumCountWithFixedSleep(maxRetries = 10,> sleepTime = 1 SECONDS)   信息 - 重试连接到服务器:0.0.0.0/0.0.0.0:8032。已经尝试了1“>时间;重试策略是RetryUpToMaximumCountWithFixedSleep(maxRetries = 10,> sleepTime = 1 SECONDS)   信息 - 重试连接到服务器:0.0.0.0/0.0.0.0:8032。已经尝试过2> time(s);重试策略是RetryUpToMaximumCountWithFixedSleep(maxRetries = 10,> sleepTime = 1 SECONDS)

所有配置文件hadoop相关都在文件夹中。我尝试上传jar并在群集中以纱线客户端模式提交它,结果证明它有效。

任何帮助?Thx~

1 个答案:

答案 0 :(得分:0)

set .config("spark.hadoop.yarn.resourcemanager.address", "hadoop:8032")  

覆盖技巧。