我正在尝试在本机kubernetes模式下对我的火花流应用程序进行火花提交,并启用了监督标志。
我尝试了以下操作: 我已经将监督标志放到火花提交中 我在spark提交中启用了spark-writeahead-log 我在应用程序代码中打开了检查点,并存储了检查点文件。
提交火花:
/opt/spark/bin/spark-submit --deploy-mode cluster
--total-executor-cores 3
--driver-memory 2G --supervise
--driver-cores 1
--executor-cores 2
--executor-memory 8G
--conf 'spark.executor.extraJavaOptions=-XX:+UseG1GC'
--conf 'spark.kubernetes.container.image=mydoc/myrepo:spark-2.4.0-centos7'
--conf 'spark.streaming.receiver.writeAheadLog.enable=true'
--class com.CheckpointTest.app.SparkIngestion
--master k8s://https://myip:8001
http://http-server-clientsvc:5000/download/fs-ingestion-svc.jar ;
我希望在卸下火花塞吊舱时看到驾驶员的healing愈,但没有成功。有人可以帮我吗?