我使用spark使用Spark的数据集将表连接到其他数据库和couchbase。
val couchbaseTable = session.read.couchbase(StructType(StructField("name",StringType) ::Nil))
在Couchbase控制台上,我可以看到ops上升到500封顶,然后在几秒后变为0。我使用java api和reactivex进行了负载测试,并且能够达到20k操作。
如何增加获取大小(批量,批量)以便所有文档一次被spark获取以进行处理,就像我可以使用cassandra连接器一样?