为什么我的集群模式下的Spark流作业访问“ usercache”文件夹?

时间:2019-11-15 09:21:47

标签: apache-spark apache-spark-sql spark-streaming yarn

我正在使用Java 1.8将 spark-sql-2.4.1 v与kafka 0.10.x一起使用。即使设置了checkPointLocation,当我在“群集”模式下运行时,火花作业也不会反映/荣誉。

试图在“ / tmp / hadoop-admin / nm-local-dir / usercache ”位置写入,由于我的Spark作业(即spark-提交失败。

在“客户端”模式下可以正常工作。仅在“群集”模式下出现。

那为什么我在集群模式下的spark作业访问“ / tmp / hadoop-admin / nm-local-dir / usercache ”路径。预防方法

0 个答案:

没有答案