我可以看到以下CTAS查询在HIVE中失败:-
创建外部表table_2 位置 '..' 如 SELECT * FROM table_1
如果在SPARK SQL中执行相同的查询,则运行良好。
我在SPARK SHELL中尝试过此方法,其中SPARK SQL CATALOG实现仅是Hive。
spark.sql.catalogImplementation =蜂巢
请让我知道为什么它可以在SPARK SQL中使用?
对于Hive,我已经知道了解释-CTAS只是更改新表的指针以引用现有表的数据位置,而不将现有表数据复制到新表的位置。这就是为什么它不适用于使用CTAS语法创建外部表的原因。
但是我不确定如果其基础上下文仅是HIVE上下文,为什么它可以在SPARK中工作。
谢谢