从数据帧到SQL Server表的写入速度非常非常慢

时间:2019-11-30 21:09:07

标签: apache-spark pyspark apache-spark-sql spark-streaming

我正在运行下面的代码,它可以正常工作,但是超级,超级,超级慢。

df.write.format('jdbc').options(url='jdbc:sqlserver://server_name.database.windows.net:1433;databaseName=db_name', 
                             dbtable='dbo.my_table', 
                             user='usr', 
                             password='pwd', 
                             batchsize=500000).mode('append').save()

我以为它可以一次加载500k的记录,但是当我运行代码并在作业启动后在SQL Server中进行记录计数时,它每秒更新约50条记录。希望对此有一个简单的解决方法。谢谢!

0 个答案:

没有答案