在pyspark作业中,我试图使用LIKE子句创建一个临时表,如下所示。
CREATE EXTERNAL TABLE IF NOT EXISTS stg.new_table_name LIKE stg.exiting_table_name LOCATION s3://s3-bucket/warehouse/stg/existing_table_name
我的工作失败,如下所示-
预期的输入“ LIKE”不匹配(第1行,pos 56)\ n \ n == SQL == \ n如果不存在则创建外部表stg.new_table_name喜欢 stg.exiting_table_name位置 s3:// s3-bucket / warehouse / stg / existing_table_name
是否不触发LIKE
子句来使用现有表的元数据创建新表?
我的sparksession配置:
self.session = SparkSession \
.builder \
.appName(self.app_name) \
.config("spark.dynamicAllocation.enabled", "false") \
.config("hive.exec.dynamic.partition.mode", "nonstrict") \
.config("mapreduce.fileoutputcommitter.algorithm.version", "2") \
.config("hive.load.dynamic.partitions.thread", "10") \
.config("hive.mv.files.thread", "30") \
.config("fs.trash.interval", "0") \
.enableHiveSupport()