SparkSQL上的“spark.sql.execution.id已设置”异常

Question

我在hive表上使用spark-sql面临这个异常。当我的查询同时包含WITH和INSERT子句时，这种情况会发生，即，如果我删除WITH子句或者替换INSERT，它会起作用：

sql("WITH... SELECT...").write.parquet("/test/")

我在CDH 5.7上使用spark 1.6.0，在HD Insight上使用spark 1.6.1。

有什么想法吗？

同样的例外与here有关，但出于其他原因。 存在与此异常here相关的故障单。

Answer 1

当您尝试调用sqlcontext（实际上是hive上下文）时，Spark 1.6.0不支持公用表表达式（CTE），这就是您收到此错误的原因。请将您的CTE重写为常规查询。