spark-submit,YARN,“群集”部署模式无法正常工作

时间:2017-08-17 07:43:30

标签: spring apache-spark spark-streaming yarn google-cloud-dataproc

我正在尝试提交主流为YARN且部署模式为群集的spark streaming app。 初始错误消息无法创建JavaSparkContext:

  

WARN org.springframework.context.annotation.AnnotationConfigApplicationContext:在上下文初始化期间遇到异常 - 取消刷新尝试:org.springframework.beans.factory.UnsatisfiedDependencyException:创建名为'sparkGracefullTerminator'的bean时出错:通过字段'ssc表示的不满意的依赖关系“;嵌套异常是org.springframework.beans.factory.BeanCreationException:在pokerStreaming.conf.MainConfig中定义名为'streamingContext'的bean创建错误:通过工厂方法进行Bean实例化失败;嵌套异常是org.springframework.beans.BeanInstantiationException:无法实例化[org.apache.spark.streaming.api.java.JavaStreamingContext]:工厂方法'streamingContext'抛出异常;嵌套异常是java.lang.InterruptedException:sleep interrupted

然后我看到了与驱动程序连接的另一个错误:

  

错误org.apache.spark.deploy.yarn.ApplicationMaster:无法连接到XX.XXX.X.X:54035的驱动程序,正在重试...

所以我猜实际问题在于与驱动程序的连接。

不确定如何进一步调查它。 如果进程在Google Dataproc上运行,节点是否认为彼此之间没有连接?

谢谢, 尼尔

0 个答案:

没有答案