标签: python-3.x apache-spark pyspark spark-structured-streaming
我将火花流与foreach接收器配合使用来处理物联网数据包数据。
我需要跟踪设备的正常运行时间,如果当前数据包的正常运行时间小于以前的数据包,则需要触发逻辑。
我尝试在python中使用全局变量,但由于并行计算而无法解决。我试图将结果写入临时表,但是似乎无法在foreach函数中访问sparkcontext / spark会话。关于如何进行的任何想法将不胜感激。
提前谢谢!