蜂巢-创建表LIKE在Spark-SQL中不起作用

时间:2018-11-06 05:13:34

标签: apache-spark hive pyspark apache-spark-sql

在pyspark作业中,我试图使用LIKE子句创建一个临时表,如下所示。

CREATE EXTERNAL TABLE IF NOT EXISTS stg.new_table_name LIKE stg.exiting_table_name LOCATION s3://s3-bucket/warehouse/stg/existing_table_name

我的工作失败,如下所示-

  

预期的输入“ LIKE”不匹配(第1行,pos 56)\ n \ n == SQL   == \ n如果不存在则创建外部表stg.new_table_name喜欢   stg.exiting_table_name位置   s3:// s3-bucket / warehouse / stg / existing_table_name

是否不触发LIKE子句来使用现有表的元数据创建新表?

我的sparksession配置:

self.session = SparkSession \
            .builder \
            .appName(self.app_name) \
            .config("spark.dynamicAllocation.enabled", "false") \
            .config("hive.exec.dynamic.partition.mode", "nonstrict") \
            .config("mapreduce.fileoutputcommitter.algorithm.version", "2") \
            .config("hive.load.dynamic.partitions.thread", "10") \
            .config("hive.mv.files.thread", "30") \
            .config("fs.trash.interval", "0") \
            .enableHiveSupport()

0 个答案:

没有答案