如何跟踪先前的值pyspark

时间:2019-04-10 12:15:28

标签: python-3.x apache-spark pyspark spark-structured-streaming

我将火花流与foreach接收器配合使用来处理物联网数据包数据。

我需要跟踪设备的正常运行时间,如果当前数据包的正常运行时间小于以前的数据包,则需要触发逻辑。

我尝试在python中使用全局变量,但由于并行计算而无法解决。我试图将结果写入临时表,但是似乎无法在foreach函数中访问sparkcontext / spark会话。关于如何进行的任何想法将不胜感激。

提前谢谢!

0 个答案:

没有答案