我试图将每个执行器的三个核心分配给一个火花应用程序,有时在执行器中出现以下错误:
错误[10-02-2018 19:25:00,228] [_CI =] [_P =] [_F =] [_EC =] [_ED =] [_PI =] [_PPI =] [_B =] [_E =] [_S =] org.apache.spark.network.shuffle.RetryingBlockFetcher-异常 在开始提取1个未完成的块时(两次重试后) java.io.IOException:无法在以下位置连接到/127.0.0.1:36480 org.apache.spark.network.client.TransportClientFactory.createClient(TransportClientFactory.java:228) [stacktrace继续]造成原因: io.netty.channel.AbstractChannel $ AnnotatedConnectException:连接 拒绝:/127.0.0.1:36480,网址为 sun.nio.ch.SocketChannelImpl.checkConnect(本机方法)
[stacktrace继续]
就好像执行者试图在本地主机中找到某些东西(主机还是驱动程序?)。
谢谢