有没有一种方法可以使用特定的批处理大小写入数据库?

时间:2019-11-30 17:40:47

标签: apache-spark pyspark apache-spark-sql spark-streaming

我正在运行下面的代码,它可以工作,但是速度非常慢。我认为写入块的默认大小为1,000条记录。我想将其增加到500,000条记录块。我对此进行了一些研究,似乎可以做到,但是我没有看到任何可以满足我需要的示例代码,并且我所有修改此代码的尝试都失败了。

poll

1 个答案:

答案 0 :(得分:0)

props = {"user": "usr","password": "pwd", "batchsize" : "500000"}