在本机Kubernetes模式下的Spark Kafka流中修复Spark驱动程序(群集模式spark提交给kubernetes主服务器)

时间:2019-01-18 09:50:19

标签: apache-spark kubernetes

我正在尝试在本机kubernetes模式下对我的火花流应用程序进行火花提交,并启用了监督标志。

我尝试了以下操作: 我已经将监督标志放到火花提交中 我在spark提交中启用了spark-writeahead-log 我在应用程序代码中打开了检查点,并存储了检查点文件。

提交火花:

/opt/spark/bin/spark-submit --deploy-mode cluster 
--total-executor-cores 3 
--driver-memory 2G --supervise 
--driver-cores 1 
--executor-cores 2 
--executor-memory 8G 
--conf 'spark.executor.extraJavaOptions=-XX:+UseG1GC' 
--conf 'spark.kubernetes.container.image=mydoc/myrepo:spark-2.4.0-centos7' 
--conf 'spark.streaming.receiver.writeAheadLog.enable=true' 
--class com.CheckpointTest.app.SparkIngestion 
--master k8s://https://myip:8001 
  http://http-server-clientsvc:5000/download/fs-ingestion-svc.jar ;

我希望在卸下火花塞吊舱时看到驾驶员的healing愈,但没有成功。有人可以帮我吗?

0 个答案:

没有答案