从spark scala中的数据集创建json文件

时间:2018-06-17 18:41:01

标签: scala apache-spark apache-spark-sql

我有以下数据集:

+------+-----------+-------+----------+
|userID|   A       |B      |  C       |
+------+-----------+-------+----------+
|1     |242.0      |NULL   |7         |
|2     |NULL       |3.0    |5.0       |
|3     |NULL       |70.0   |17.0      |

我想将其转换为以下json格式:

"result":
[
{"userID": 1, "A": 242.0, "B": NULL, "C": 7 }, 
{"userID": 2, "A": NULL, "B": 3.0, "C": 5.0 }, 
{"userID": 3, "A": NULL, "B": 70.0, "C": 17.0 }, 
]

我很感激你的帮助。

1 个答案:

答案 0 :(得分:0)

myDataset.write.json("/tmp/my_dir/")