将数据从Spark结构化流保存到Postgresql

时间:2019-12-08 22:36:18

标签: python postgresql apache-spark spark-structured-streaming

我很讨厌执行以下任务:

我通过Spark 结构化流媒体从Kafka消费了随机消息(带有温度数字)。 以下是Spark DataFrame的屏幕截图:

从Kafka主题消耗的数据

我的问题是如何遍历数据帧的每一行并将其值传递给Postgresql(使用python代码)。

请找到我到目前为止的代码片段。

XXXXX
XX
XXXXX
XX
XX

注释1 :一切都在Docker上运行,这就是为什么我使用一个简单的Python函数而不是jdbc驱动程序连接到Postgresql的原因。

注释2 :我知道我必须使用foreach()或foreachBatch()。但是,我不知道如何迭代火花DataFrame的每一行,如上面的屏幕快照所示。

预先感谢您的帮助。

0 个答案:

没有答案