今天我阅读了许多Apache文档,以下脚本似乎应该将数据帧的内容保存到SQL Server表中。
df.write.format("jdbc") \
.option("url", "jdbc:sqlserver://my_server_name.database.windows.net:1433;databaseName=my_DB") \
.option("dbtable", "dbo.big_table") \
.option("user", "user") \
.option("password", "pass")
我遇到一条错误,内容为:<pyspark.sql.readwriter.DataFrameWriter at 0x7f44a3092940>
我正在尝试让Python来度日。我也可以使用SQL。到目前为止,我已经尝试了上面的想法,并且还尝试了这些想法:
.saveAsTable("dbo.big_table")
df.write.insertInto('big_table',overwrite = False)
.mode(SaveMode.Append)
我一定在这里缺少一些简单的东西。有人可以向我推正确的方向吗?谢谢!