Databricks中的问题流增量表

时间:2020-04-06 14:28:57

标签: apache-spark pyspark databricks spark-structured-streaming delta-lake

我正在从Databricks中的增量表(源)流到增量表(目标)

[ufw_allow_groups]
[ufw_allow_groups:children]
group1
group3

但是似乎在某个时间点上,该作业开始处理应处理的“较少”数据:

enter image description here

您知道是否有最大容量来处理流数据或其他内容吗?

我正在尝试调试读取日志,但找不到任何问题

0 个答案:

没有答案