使用python将spark数据帧（每行作为单独的消息）推送到kafka

Question

我有我的pyspark代码，基本上从cassandra db获取数据转储。以后的操作我现在正在逐行使用数据帧上的for循环推送数据帧。由于这是耗时的操作。是否可以将完整的数据帧推送到kafka。 我已经尝试过推送整个数据，但是数据框被作为行列表推送到内部（kafka中的单个消息）。我想在kafka中将每一行作为单独的消息。