如何将火花流数据集计数分配给变量?

时间:2018-06-01 14:21:26

标签: spark-streaming spark-structured-streaming

场景 - 我有一个流式点火数据集,我希望根据某些条件过滤事件并获取流量计数。根据这个动态计数,我必须对我的广播变量执行一些操作。

示例 - val streamingQueryCount = InputDataset.filter(flag =='xyz).Count

问题 - 由于数据集是流式查询,因此必须使用正确的接收器指定writeStream方法。是否无法将流数据集计数分配给变量并使用该变量进行进一步操作?

如下所示..

if(streamingQueryCount> 0){do this}

注意 - 计数的可能性应该是动态的。它可以在0和任何值> 0之间切换。 (伯爵也可以回归零)

请建议使用基于scala的示例。

0 个答案:

没有答案