找不到火花sqlContext读取实木复合地板S3路径

时间:2019-01-31 22:24:47

标签: apache-spark

am在AWS EMR中使用spark 2.3 scala 2.11.8,看到未找到s3路径,但该路径存在。 aws s3 ls清楚显示目录和内容都很好

org.apache.spark.sql.AnalysisException:路径不存在:s3:// dev-us-east-1 / data / v1 / output / 20190115 / individual / part-00000-b8450da0-15e9-482e- b588-08d6baa0637a-c000.snappy.parquet;

val df = sqlContext.read.parquet(“ s3:// dev-us-east-1 / data / v1 / output /”“” + dt +“”“ /个人/部分-*。snappy.parquet” )

使用相同的代码可以很好地加载其他文件夹/文件。想知道是否存在文件大小限制或伪装为路径问题的内存问题?我还读过关于使用s3a://和s3n://而不是s3://的信息,但是我是火花的新手,并且快速尝试将路径更改为s3a://来获取拒绝访问的异常

0 个答案:

没有答案