外部表上的CTAS在Spark SQL中运行时无法在HIVE中运行

时间:2018-12-13 12:07:24

标签: hive apache-spark-sql

我可以看到以下CTAS查询在HIVE中失败:-

创建外部表table_2 位置 '..' 如 SELECT * FROM table_1

如果在SPARK SQL中执行相同的查询,则运行良好。

我在SPARK SHELL中尝试过此方法,其中SPARK SQL CATALOG实现仅是Hive。

spark.sql.catalogImplementation =蜂巢

请让我知道为什么它可以在SPARK SQL中使用?

对于Hive,我已经知道了解释-CTAS只是更改新表的指针以引用现有表的数据位置,而不将现有表数据复制到新表的位置。这就是为什么它不适用于使用CTAS语法创建外部表的原因。

但是我不确定如果其基础上下文仅是HIVE上下文,为什么它可以在SPARK中工作。

谢谢

0 个答案:

没有答案