来自s3的sparklyr spark_read_parquet错误

时间:2019-03-28 01:40:08

标签: r sparklyr

当我从Sparklyr上下文​​中读取s3上的实木复合地板文件时:

{spark_read_parquet(sc, name = "parquet_test", path = "s3a://<path-to-file>")} 

它抛出一个错误,它是:

  

原因:java.io.IOException:无法读取文件FileStatus {path = s3a:.....

的页脚

我能够通过使用read.parquet()函数在sparkR会话中读取镶木地板文件。因此,在sparkR和sparklyr之间在火花上下文配置方面必须存在一些差异。

对此问题有何建议?谢谢。

1 个答案:

答案 0 :(得分:0)

third_party/build.gradle模式下,您使用的文件模式yarn-client不正确。您需要使用s3