Spark结构化流：将行转换为json

Question

我尝试仅使用spark API将Row DataFrame转换为json字符串。

来自输入Row

+----------------+-----------+
|       someThing|       else|
+----------------+-----------+
|            life|         42|
+----------------+-----------+

与

myDataFrame
.select(struct("*").as("col"))
.select(to_json(col("col")))
.writeStream()
.foreach(new KafkaWriter())
.start()

使用KafkaWriter，即使用row.toString()我得到了：

[{  
    "someThing":"life",
    "else":42
}]

当我希望得到这个时：

{  
    "someThing":"life",
    "else":42
}

（没有[]）

有什么想法吗？

Answer 1

刚刚找到解决方案。使用Row.mkString而不是Row.toString解决了我的问题。

Answer 2

你有一排。如果放行，则数组的输出变为