我正在运行下面的代码,它可以正常工作,但是超级,超级,超级慢。
df.write.format('jdbc').options(url='jdbc:sqlserver://server_name.database.windows.net:1433;databaseName=db_name',
dbtable='dbo.my_table',
user='usr',
password='pwd',
batchsize=500000).mode('append').save()
我以为它可以一次加载500k的记录,但是当我运行代码并在作业启动后在SQL Server中进行记录计数时,它每秒更新约50条记录。希望对此有一个简单的解决方法。谢谢!