删除使用Spark结构化流创建并在_spark_metadata中引用的文件?

时间:2020-02-13 02:25:45

标签: apache-spark pyspark spark-structured-streaming

删除使用Spark结构化流接收器创建并在_spark_metadata文件中具有引用的文件的正确过程是什么?如果删除该文件,它仍将在_spark_metadata中引用,并在使用Spark SQL查询原始文件所在的根文件夹时导致错误。是从_spark_metadata文件中手动删除引用的唯一解决方案吗?有更好的自动化流程吗?

0 个答案:

没有答案