我正在使用Java 1.8将 spark-sql-2.4.1 v与kafka 0.10.x一起使用。即使设置了checkPointLocation,当我在“群集”模式下运行时,火花作业也不会反映/荣誉。
试图在“ / tmp / hadoop-admin / nm-local-dir / usercache ”位置写入,由于我的Spark作业(即spark-提交失败。
在“客户端”模式下可以正常工作。仅在“群集”模式下出现。
那为什么我在集群模式下的spark作业访问“ / tmp / hadoop-admin / nm-local-dir / usercache ”路径。预防方法