Question

//download file  csv
ByteArrayOutputStream downloadedFile = downloadFile();

//save file in temp folder csv   (
java.io.File tmpCsvFile = save(downloadedFile);

//reading
Dataset<Row> ds = session
        .read()
        .option("header", "true") 
        .csv(tmpCsvFile.getAbsolutePath())

tmpCsvFile保存在以下路径中：

/mnt/yarn/usercache/hadoop/appcache/application_1511379756333_0001/container_1511379756333_0001_02_000001/tmp/1OkYaovxMsmR7iPoPnb8mx45MWvwr6k1y9xIdh8g7K0Q3118887242212394029.csv

阅读时例外：

org.apache.spark.sql.AnalysisException：路径不存在： HDFS：//ip-33-33-33-33.ec2.internal：8020的/ mnt /纱线/ usercache / hadoop的/应用程序缓存/ application_1511379756333_0001 / container_1511379756333_0001_02_000001 / TMP / 1OkYaovxMsmR7iPoPnb8mx45MWvwr6k1y9xIdh8g7K0Q3118887242212394029.csv;

我认为问题在于，文件是在本地保存的，当我尝试通过spark-sql api读取时，它无法找到该文件。我已经尝试过使用sparkContext.addFile（）并且没有工作。

任何解决方案？

由于

Answer 1

Spark支持大量的文件系统，用于读写。

本地/常规（文件：//）
S3（s3：//）
HDFS（hdfs：//）

如果没有指定URI，则作为标准行为，spark-sql将使用hdfs：// driver_address：port / path。

将file：///添加到路径中的解决方案，只能在客户端模式下工作，在我的情况下（群集）它不会。当驱动程序创建用于读取文件的任务时，它将被传递给执行程序，而不是该文件的一个节点。

我们能做什么？在Hadoop上写一个文件。

   Configuration conf = new Configuration();
   ByteArrayOutputStream downloadedFile = downloadFile();
   //convert outputstream in inputstream
   InputStream is=Functions.FROM_BAOS_TO_IS.apply(fileOutputStream);
   String myfile="miofile.csv";
   //acquiring the filesystem
   FileSystem fs = FileSystem.get(URI.create(dest),conf);
   //openoutputstream to hadoop
   OutputStream outf = fs.create( new Path(dest));
   //write file 
   IOUtils.copyBytes(tmpIS, outf, 4096, true);
   //commit the read task
   Dataset<Row> ds = session
    .read()
    .option("header", "true") 
    .csv(myfile)

谢谢，欢迎任何更好的解决方案

AWS EMR Spark - 获取CSV并与SparkSql api一起使用

1 个答案: