在Jboss上托管Spark作业并尝试连接到master时,调用RpcHandler #receive()以获得单向消息时出错

时间:2019-05-08 21:13:56

标签: java apache-spark jboss

在Jboss服务器上部署时,我无法连接到master上的spark

我有一个使用Java和Spark API设计的应用程序,用于将数据加载到oracle数据库。我已经在Jboss上部署了该应用程序,并且在本地主Spark会话上运行良好,但是当我尝试将spark.master更改为集群模式并从本地访问URL时,它没有连接到master。我总是看到-加载成员文件时发生错误:java.net.BindException:无法分配请求的地址:16次重试(在随机的免费端口上)服务'sparkDriver'失败!考虑显式地将服务“ sparkDriver”的适当绑定地址(例如SparkDriver的spark.driver.bindAddress)设置为客户端(本地)上的正确绑定地址,并错误ERROR TransportRequestHandler:调用RpcHandler时出错

receive()用于单向消息。

java.io.InvalidClassException:org.apache.spark.rpc.netty.NettyRpcEndpointRef;升 ocal类不兼容:流classdesc serialVersionUID = 6257082371135760434-主计算机上的此错误。我在本地和主服务器上都具有所有相同的版本(spark 2.4.2和Hadoop 2.7,Scala 2.12.8和sparkcore.2.8.0)。当我尝试查找此错误时,我知道存在版本不匹配,但我没有任何版本不匹配。有人可以帮忙吗?

创建sparksession-

sparkSession = new SparkSession.Builder().master("spark://ip.addresss:7077").config("spark.submit.deployMode","cluster").appName("Java JDBC Spark").config("spark.driver.bindAddress","ip.addresss").getOrCreate();

0 个答案:

没有答案