Spark错误：无效的日志目录/app/spark/spark-1.6.1-bin-hadoop2.6/work/app-20161018015113-0000/3/

Question

我的火花应用程序失败并出现上述错误。

实际上我的spark程序正在将日志写入该目录。 stderr和stdout都写给所有工人。

我的程序用于提前做好准备。但昨天我改变了fodler指向SPARK_WORKER_DIR。但是今天我把旧的设置放回去并重新启动了火花。

有谁能告诉我为什么会收到这个错误？

Answer 1

在我的情况下，问题是由激活引起的 的 SPARK_WORKER_OPTS =＆＃34; -Dspark.worker.cleanup.enabled =真

在spark-env.sh中的

，它应该删除旧的应用程序/驱动程序数据目录，但它似乎被窃听并删除正在运行的应用程序的数据。

只需评论该行，看看是否有帮助。