场景 - 我有一个流式点火数据集,我希望根据某些条件过滤事件并获取流量计数。根据这个动态计数,我必须对我的广播变量执行一些操作。
示例 - val streamingQueryCount = InputDataset.filter(flag =='xyz).Count
问题 - 由于数据集是流式查询,因此必须使用正确的接收器指定writeStream方法。是否无法将流数据集计数分配给变量并使用该变量进行进一步操作?
如下所示..
if(streamingQueryCount> 0){do this}
注意 - 计数的可能性应该是动态的。它可以在0和任何值> 0之间切换。 (伯爵也可以回归零)
请建议使用基于scala的示例。