AWS Glue-Pyspark JDBC连接器

时间:2020-05-05 15:40:39

标签: jdbc pyspark aws-glue

我正在使用以下语句从AWS胶粘作业中读取和截断SQL表。这可以正常工作,没有任何问题。现在,我不想截断我的整个表,相反,我不得不单独删除一组特定的行。我尝试了各种选择,但未能实现。有什么办法吗?

table = "select id from dbo.product"
user = "username"
password = "password"

jdbcDF = spark.read.format("jdbc") \
    .option("url", "jdbc:sqlserver://<serverip:port>;databaseName=productdb") \
    .option("dbtable", table) \
    .option("user", user) \
    .option("password", password) \
    .option("driver", "com.microsoft.sqlserver.jdbc.SQLServerDriver") \
    .load()

x = jdbcDF.write.format("jdbc") \
    .option("url", "jdbc:sqlserver://<serverip:port>;databaseName=productdb") \
    .option("dbtable", table) \
    .option("user", user) \
    .option("password", password) \
    .mode("overwrite").option("truncate", "true") \
    .save()

0 个答案:

没有答案