如何从AWS Glue脚本在雪花中更新/删除

Question

我想删除雪花表中dataframe对象中的一条记录。

类似地，我想根据雪花表中数据框中的“键”执行更新。

我的研究表明utils方法可以执行DDL操作，但是我找不到要引用的示例。

Answer 1

如前所述，可以使用Utils对象的runQuery（）方法执行DDL / DML SQL语句：

https://docs.snowflake.net/manuals/user-guide/spark-connector-use.html#executing-ddl-dml-sql-statements

如果要基于某些键进行操作，则可以在DataFrame上迭代项目，并为每个项目运行SQL：

how to loop through each row of dataFrame in pyspark

但是这将成为性能杀手。 Snowflake是一个数据仓库，因此您应该始终喜欢“批处理更新”，而不是单行更新。

我建议您将数据帧写入Snowflake中的登台表，然后调用SQL以根据登台表更新目标表中的行。