从IDEA Intellij以纱线客户端模式提交作业时遇到连接问题。
我确实设置了env变量并通过打印它们来仔细检查它:
System.setProperty("YARN_CONF_DIR", "D:\\HadoopDev\\UserClick\\src\\main\\resources\\hadoop-vm");
System.setProperty("HADOOP_CONF_DIR", "D:\\HadoopDev\\UserClick\\src\\main\\resources\\hadoop-vm");
但我仍然收到错误消息告诉我:
INFO - 在/0.0.0.0:8032连接到ResourceManager 信息 - 重试连接到服务器:0.0.0.0/0.0.0.0:8032。已经尝试了0>时间;重试策略是RetryUpToMaximumCountWithFixedSleep(maxRetries = 10,> sleepTime = 1 SECONDS) 信息 - 重试连接到服务器:0.0.0.0/0.0.0.0:8032。已经尝试了1“>时间;重试策略是RetryUpToMaximumCountWithFixedSleep(maxRetries = 10,> sleepTime = 1 SECONDS) 信息 - 重试连接到服务器:0.0.0.0/0.0.0.0:8032。已经尝试过2> time(s);重试策略是RetryUpToMaximumCountWithFixedSleep(maxRetries = 10,> sleepTime = 1 SECONDS)
所有配置文件hadoop相关都在文件夹中。我尝试上传jar并在群集中以纱线客户端模式提交它,结果证明它有效。
任何帮助?Thx~
答案 0 :(得分:0)
set .config("spark.hadoop.yarn.resourcemanager.address", "hadoop:8032")
覆盖技巧。