在火花中应用saveAsCSVFile动作后，在纱线中提交作业时没有任何反应

Question

我在纱线客户端提交了一个火花作业（通过jar）;

./spark-submit --class main.MainClass --master yarn-client  --driver-memory 4g --executor-memory 4g --num-executors 4 --executor-cores 2 job.jar <other_args>

现在我的jar中有以下代码;

dataset.write().mode("overwrite").csv(/the/file/path/)

我正在获取日志;

17/03/22 02:44:26 INFO scheduler.DAGScheduler: ResultStage 2 (csv at SaveAsCSVFileAction.java:53) finished in 1.948 s
17/03/22 02:44:26 INFO scheduler.DAGScheduler: Job 2 finished: csv at SaveAsCSVFileAction.java:53, took 2.044570 s

但我的结果不是 / / file / path /

/ / file / path / 是计算机的绝对路径，例如/ home / somename / Desktop / resultDump

你能否告诉我一些我做错了什么？

Answer 1

实际上我终于明白，纱线集群内部无法访问本地文件路径。因此， hdfs：// host：port / path 的更改效果很好。