Spark 1.6-使用数据框使用Avro文件覆盖目录失败

时间:2018-07-19 09:47:41

标签: apache-spark-sql spark-avro apache-spark-1.6

我在HDFS中有一个包含avro文件的目录。当我尝试用数据帧覆盖目录时,它失败。 语法:avroData_df.write.mode(SaveMode.Overwrite).format(“ com.databricks.spark.avro”)。save(“”) 错误是: 引起原因:org.apache.hadoop.mapred.InvalidInputException:输入路径不存在:hdfs://nameservice1//part-r-00000-bca9a5b6-5e12-45c1-a877-b0f6d6cc8cd3.avro

似乎在覆盖时也考虑了avro文件。

我们可以完全使用Spark 1.6吗?

0 个答案:

没有答案