每个执行器分配多个内核时,Spark执行器会尝试连接到本地主机

时间:2018-10-02 17:39:47

标签: apache-spark spark-streaming

我试图将每个执行器的三个核心分配给一个火花应用程序,有时在执行器中出现以下错误:

  

错误[10-02-2018 19:25:00,228] [_CI =] [_P =] [_F =] [_EC =] [_ED =]   [_PI =] [_PPI =] [_B =] [_E =] [_S =]   org.apache.spark.network.shuffle.RetryingBlockFetcher-异常   在开始提取1个未完成的块时(两次重试后)   java.io.IOException:无法在以下位置连接到/127.0.0.1:36480   org.apache.spark.network.client.TransportClientFactory.createClient(TransportClientFactory.java:228)   [stacktrace继续]造成原因:   io.netty.channel.AbstractChannel $ AnnotatedConnectException:连接   拒绝:/127.0.0.1:36480,网址为   sun.nio.ch.SocketChannelImpl.checkConnect(本机方法)

     

[stacktrace继续]

就好像执行者试图在本地主机中找到某些东西(主机还是驱动程序?)。

谢谢

0 个答案:

没有答案