Spark shell error : ERROR SparkDeploySchedulerBackend: Asked to remove non-existent executor 11

时间:2015-04-23 05:23:25

标签: scala apache-spark mapr

Whenever I start the spark-shell on mapr Sandbox I keep on getting this error

ERROR SparkDeploySchedulerBackend: Asked to remove non-existent executor 11

Please help me to solve this error.

3 个答案:

答案 0 :(得分:0)

我遇到了类似的问题,按照以下步骤解决了问题:

  1. 使用此命令重启spark-master: maprcli节点服务-name spark-master -action restart -filter csvc == spark-master

  2. 启动工作节点: /opt/mapr/spark/spark-1.3.1/sbin/start-slaves.sh

  3. 现在,运行spark-shell: /opt/mapr/spark/spark-1.3.1/bin/spark-shell

  4. 希望这有帮助!

答案 1 :(得分:0)

我在设置SPARK_JAVA_OPTS进行远程调试时遇到了这个问题,但实际上没有将我的IDE调试器连接到Spark应用程序。

当我在执行者workers / stdout的{​​{1}}下查看我的Spark用户界面时发现了这一点,并注意到以下内容:

stderr

答案 2 :(得分:0)

支持在这里得到错误日志的googlers: 当我们尝试在集群外部启动zeppelin时,我们遇到了同样的问题。我们发现问题是工作者和驱动程序进程之间没有连接。

底线:打开工作人员与客户端/主节点之间的所有tcp端口 - 两种方式!!