提交应用程序后,火花作业立即完成

时间:2019-10-03 14:57:21

标签: python apache-spark pyspark apache-spark-standalone

在独立提交Spark作业时,立即完成并给出以下错误消息

ERROR CoarseGrainedExecutorBackend: RECEIVED SIGNAL TERM tdown

我通过为OOM提供以下配置尝试了多种选择

.set("spark.sql.warehouse.dir","/home/hive/spark-2.4.4-bin-hadoop2.7/")\
            .set("spark.driver.memoryOverhead","4096m")\
            .set("spark.executor.memoryOverhead","4096m")\

最初它运行平稳,但是一段时间后,它开始产生此错误。

请提出我的下落。我在配置中有很多选择。

0 个答案:

没有答案