Question

s3路径确实存在，因此异常是错误的，但是有关此字符串的某些信息和part-*无法正常工作

.snappy.parquet")output_fix/20190115/individual/part-*
org.apache.spark.sql.AnalysisException: Path does not exist: s3://media/data/v1/output_fix/20190115/individual/part-00000-b8450da0-15e9-482e-b588-08d6baa0637a-c000.snappy.parquet;
  at org.apache.spark.sql.execution.datasources.DataSource$.org$apache$spark$sql$execution$datasources$DataSource$$checkAndGlobPathIfNecessary(DataSource.scala:715)
  at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$15.apply(DataSource.scala:389)
  at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$15.apply(DataSource.scala:389)
  at scala.collection.TraversableLike$$anonfun$flatMap$1.apply(TraversableLike.scala:241)

以上来源

val srcDf = sqlContext.read.parquet("s3://media/data/v1/output_fix/"""+dt+"""/individual/part-*.snappy.parquet")

我尝试了十二种变体，包括对日期字符串进行硬编码。总是看到一些虚假的路径问题，因为我的fs上存在s3路径

任何线索都赞赏

解析异常-找不到S3路径

0 个答案: