我很讨厌执行以下任务:
我通过Spark 结构化流媒体从Kafka消费了随机消息(带有温度数字)。 以下是Spark DataFrame的屏幕截图:
从Kafka主题消耗的数据
我的问题是如何遍历数据帧的每一行并将其值传递给Postgresql(使用python代码)。
请找到我到目前为止的代码片段。
XXXXX
XX
XXXXX
XX
XX
注释1 :一切都在Docker上运行,这就是为什么我使用一个简单的Python函数而不是jdbc驱动程序连接到Postgresql的原因。
注释2 :我知道我必须使用foreach()或foreachBatch()。但是,我不知道如何迭代火花DataFrame的每一行,如上面的屏幕快照所示。
预先感谢您的帮助。