我可以设置foreachBatch的触发器吗?

时间:2019-11-12 18:47:20

标签: pyspark azure-databricks

我要控制foreachBatch的批处理大小。

我找不到可以设置时序或行数的触发器。

我知道我可以为该流设置触发器,如下所示。但是,在任何地方我都找不到关于foreachBatch如何受其影响的解释。

.trigger(processingTime='10 minutes')

foreachBatch是否在这10分钟内创建了一个批处理,还是制作了许多微批处理?

有没有更好的方法来管理它?

0 个答案:

没有答案