我试图将数据帧写入S3。
奇怪的是,当我试图写文件时,它抱怨文件不存在。
我的代码:
schema = StructType([StructField('column1', IntegerType())])
data = [(x,) for x in range(10)]
df = spark.createDataFrame(data, schema)
url = "s3://XXX/YYY/write_test.csv"
df.write.csv(url)
例外:
py4j.protocol.Py4JJavaError: An error occurred while calling o35.csv.
: java.io.IOException: /YYY/write_test.csv doesn't exist
使用