我们如何根据spark中的流数据帧更新广播变量?

时间:2018-06-04 14:05:41

标签: apache-spark-sql spark-streaming spark-structured-streaming

描述:我有一个来自kafka输入的流式查询,当" Flag"列值为" TRUE"我想刷新广播变量。由于它不是一个普通的数据帧,我无法从输入中提取值并根据Flag调用refreshBroadcast函数

dataFromKafkaDF的架构:Flag:Boolean,Data:String

pygame.mixer.quit()

注意:无法在需要在驱动程序函数中执行的转换函数中调用refreshBroadcast

0 个答案:

没有答案