用spark写入S3会引发java.io.IOException:文件不存在

时间:2017-07-21 14:12:05

标签: apache-spark amazon-s3 pyspark

我试图将数据帧写入S3。

奇怪的是,当我试图写文件时,它抱怨文件不存在。

我的代码:

schema = StructType([StructField('column1', IntegerType())])
data = [(x,) for x in range(10)]
df = spark.createDataFrame(data, schema)

url = "s3://XXX/YYY/write_test.csv"
df.write.csv(url)

例外:

py4j.protocol.Py4JJavaError: An error occurred while calling o35.csv.
: java.io.IOException: /YYY/write_test.csv doesn't exist

使用

  • spark 2.1.1
  • AWS-java的SDK-1.7.4.jar
  • Hadoop的AWS-2.7.3.jar

0 个答案:

没有答案