我在HDFS中有一个包含avro文件的目录。当我尝试用数据帧覆盖目录时,它失败。 语法:avroData_df.write.mode(SaveMode.Overwrite).format(“ com.databricks.spark.avro”)。save(“”) 错误是: 引起原因:org.apache.hadoop.mapred.InvalidInputException:输入路径不存在:hdfs://nameservice1//part-r-00000-bca9a5b6-5e12-45c1-a877-b0f6d6cc8cd3.avro
似乎在覆盖时也考虑了avro文件。
我们可以完全使用Spark 1.6吗?