SparkSreaming中的MapWithState / checkpoint导致巨大的调度延迟

时间:2018-07-20 07:58:07

标签: apache-spark pyspark apache-spark-sql spark-streaming

我与Kafka一起使用MapWithState / checkpoint运行SparkSreaming。 Spark作业提交选项如下

`spark-submit --name TEST \
--master yarn \
--deploy-mode client \
--driver-memory 80g \
--executor-memory 80G \
--num-executors 15 \
--executor-cores 15 \
--class com.temp.test.Test\
--conf  spark.dynamicAllocation.enabled=false \
/app/TEST-0.0.1-SNAPSHOT.jar 30 \
largest `

但是,我注意到许多计划延迟,并且每时每刻都在增加。 enter image description here

我还注意到沐浴处于排队状态。任何建议都是非常可取的。 enter image description here

0 个答案:

没有答案