设置“ checkPointLocation”在“群集”模式下运行spark作业时未反映“如何解决此问题？

Question

我正在使用Java 1.8将spark-sql-2.4.1v与kafka 0.10.x一起使用。 即使设置了checkPointLocation，当我在“群集”模式下运行时，火花作业也不会反映/荣誉。

尝试在“ / tmp / hadoop-admin / nm-local-dir / usercache”位置写

该如何解决？

代码：

StreamingQuery queryComapanyRecords = 
            comapanyRecords
              .writeStream()
              .option("checkpointLocation", checkpointDir )
              .parquet(parquetDir)
             .start()

  

为什么提交火花的脚本如下所示

$SPARK_HOME/bin/spark-submit \
--master yarn \
--deploy-mode cluster \
--name CompanyConsumer  \

它正在尝试如下创建本地目录

[main] INFO  org.apache.spark.storage.DiskBlockManager - Created local directory at /tmp/hadoop-admin/nm-local-dir/usercache/analytics/appcache/application_1573726329182_0973/blockmgr-bab216a4-18e2-4fe3-a8f7-0177a1809dee

  

可以将其设置为hdfs文件夹吗？