SPARK:获取文件不存在使用addFile功能后出错

时间:2015-07-15 22:47:31

标签: apache-spark

我正在尝试使用addFile函数编写一个简单的程序,但我在我的工作节点中收到错误,该文件不存在

Stage failure: Task 0 in stage 0.0 failed 4 times, most recent failure: Lost task
0.3 in stage 0.0 (TID 3, slave2.novalocal): java.io.FileNotFoundException: File
file:/tmp/spark-2791415c-8c20-4920-b3cd-5a6b8b6f3f8d/userFiles-a5a98f06-2d38-4876-8c8c-82a10ac5431f/csv_ip.csv does not exist

代码如下:

val sc = new SparkContext(sparkConf)
val inputFile ="file:///home/ubuntu/test/Spark_CSV/spark_csv_job/csv_ip.csv"
sc.addFile(inputFile)
val inFile = sc.textFile("file://"+SparkFiles.get("csv_ip.csv"))
inFile.take(10).foreach(println)

请帮我解决错误。 提前谢谢。

0 个答案:

没有答案