我正在尝试提交主流为YARN且部署模式为群集的spark streaming app。 初始错误消息无法创建JavaSparkContext:
WARN org.springframework.context.annotation.AnnotationConfigApplicationContext:在上下文初始化期间遇到异常 - 取消刷新尝试:org.springframework.beans.factory.UnsatisfiedDependencyException:创建名为'sparkGracefullTerminator'的bean时出错:通过字段'ssc表示的不满意的依赖关系“;嵌套异常是org.springframework.beans.factory.BeanCreationException:在pokerStreaming.conf.MainConfig中定义名为'streamingContext'的bean创建错误:通过工厂方法进行Bean实例化失败;嵌套异常是org.springframework.beans.BeanInstantiationException:无法实例化[org.apache.spark.streaming.api.java.JavaStreamingContext]:工厂方法'streamingContext'抛出异常;嵌套异常是java.lang.InterruptedException:sleep interrupted
然后我看到了与驱动程序连接的另一个错误:
错误org.apache.spark.deploy.yarn.ApplicationMaster:无法连接到XX.XXX.X.X:54035的驱动程序,正在重试...
所以我猜实际问题在于与驱动程序的连接。
不确定如何进一步调查它。 如果进程在Google Dataproc上运行,节点是否认为彼此之间没有连接?
谢谢, 尼尔