Whenever I start the spark-shell on mapr Sandbox I keep on getting this error
ERROR SparkDeploySchedulerBackend: Asked to remove non-existent executor 11
Please help me to solve this error.
答案 0 :(得分:0)
我遇到了类似的问题,按照以下步骤解决了问题:
使用此命令重启spark-master: maprcli节点服务-name spark-master -action restart -filter csvc == spark-master
启动工作节点: /opt/mapr/spark/spark-1.3.1/sbin/start-slaves.sh
现在,运行spark-shell: /opt/mapr/spark/spark-1.3.1/bin/spark-shell
希望这有帮助!
答案 1 :(得分:0)
我在设置SPARK_JAVA_OPTS
进行远程调试时遇到了这个问题,但实际上没有将我的IDE调试器连接到Spark应用程序。
当我在执行者workers
/ stdout
的{{1}}下查看我的Spark用户界面时发现了这一点,并注意到以下内容:
stderr
答案 2 :(得分:0)
支持在这里得到错误日志的googlers: 当我们尝试在集群外部启动zeppelin时,我们遇到了同样的问题。我们发现问题是工作者和驱动程序进程之间没有连接。
底线:打开工作人员与客户端/主节点之间的所有tcp端口 - 两种方式!!