优化Spark Couchbase连接器的提取大小

时间:2018-06-01 21:54:00

标签: scala apache-spark couchbase

我使用spark使用Spark的数据集将表连接到其他数据库和couchbase。

val couchbaseTable = session.read.couchbase(StructType(StructField("name",StringType) ::Nil))

在Couchbase控制台上,我可以看到ops上升到500封顶,然后在几秒后变为0。我使用java api和reactivex进行了负载测试,并且能够达到20k操作。

如何增加获取大小(批量,批量)以便所有文档一次被spark获取以进行处理,就像我可以使用cassandra连接器一样?

0 个答案:

没有答案