雪花删除临时表 pyspark aws 胶水

Question

我有一个每日火花胶作业，它更新（模式：覆盖）Snowflake 中的一个表，每次运行时，它都会生成一个格式为 table-name_staging_123947678...

我只需要一点帮助就可以将脚本的最后一部分推过终点

df1.write.format(SNOWFLAKE_SOURCE_NAME).options(**sfOptions).option("header", "true").option("dbtable", "table").mode("overwrite").save()

sdf = spark.read.format(SNOWFLAKE_SOURCE_NAME).options(**sfOptions).option("query", """
SELECT 'DROP TABLE ' || table_name || ';' 
FROM  MyDatabase.INFORMATION_SCHEMA.TABLES
WHERE TABLE_NAME LIKE '%STAGING%';
""").load()

for row in sdf.rdd.collect():
    net.snowflake.spark.snowflake.Utils.runQuery((sfOptions, row)

我的问题出现在最后的 Utils.runQuery ......关于 for 循环中正确脚本的任何想法，以从 Glue/spark 编写针对雪花的删除表查询？