卡住尝试使用PySpark将数据帧写入SQL Server表

时间:2019-12-18 20:07:39

标签: apache apache-spark pyspark databricks

今天我阅读了许多Apache文档,以下脚本似乎应该将数据帧的内容保存到SQL Server表中。

df.write.format("jdbc") \
    .option("url", "jdbc:sqlserver://my_server_name.database.windows.net:1433;databaseName=my_DB") \
    .option("dbtable", "dbo.big_table") \
    .option("user", "user") \
    .option("password", "pass")

我遇到一条错误,内容为:<pyspark.sql.readwriter.DataFrameWriter at 0x7f44a3092940>

我正在尝试让Python来度日。我也可以使用SQL。到目前为止,我已经尝试了上面的想法,并且还尝试了这些想法:

.saveAsTable("dbo.big_table")

df.write.insertInto('big_table',overwrite = False)

.mode(SaveMode.Append)

我一定在这里缺少一些简单的东西。有人可以向我推正确的方向吗?谢谢!

0 个答案:

没有答案