在独立提交Spark作业时,立即完成并给出以下错误消息
ERROR CoarseGrainedExecutorBackend: RECEIVED SIGNAL TERM tdown
我通过为OOM提供以下配置尝试了多种选择
.set("spark.sql.warehouse.dir","/home/hive/spark-2.4.4-bin-hadoop2.7/")\
.set("spark.driver.memoryOverhead","4096m")\
.set("spark.executor.memoryOverhead","4096m")\
最初它运行平稳,但是一段时间后,它开始产生此错误。
请提出我的下落。我在配置中有很多选择。