当我从Sparklyr上下文中读取s3上的实木复合地板文件时:
{spark_read_parquet(sc, name = "parquet_test", path = "s3a://<path-to-file>")}
它抛出一个错误,它是:
原因:java.io.IOException:无法读取文件FileStatus {path = s3a:.....
的页脚
我能够通过使用read.parquet()函数在sparkR会话中读取镶木地板文件。因此,在sparkR和sparklyr之间在火花上下文配置方面必须存在一些差异。
对此问题有何建议?谢谢。
答案 0 :(得分:0)
在third_party/build.gradle
模式下,您使用的文件模式yarn-client
不正确。您需要使用s3