标签: pyspark azure-databricks
我要控制foreachBatch的批处理大小。
我找不到可以设置时序或行数的触发器。
我知道我可以为该流设置触发器,如下所示。但是,在任何地方我都找不到关于foreachBatch如何受其影响的解释。
.trigger(processingTime='10 minutes')
foreachBatch是否在这10分钟内创建了一个批处理,还是制作了许多微批处理?
有没有更好的方法来管理它?