标签: apache-spark pyspark apache-spark-sql spark-streaming
我正在运行下面的代码,它可以工作,但是速度非常慢。我认为写入块的默认大小为1,000条记录。我想将其增加到500,000条记录块。我对此进行了一些研究,似乎可以做到,但是我没有看到任何可以满足我需要的示例代码,并且我所有修改此代码的尝试都失败了。
poll
答案 0 :(得分:0)
props = {"user": "usr","password": "pwd", "batchsize" : "500000"}