读取JSON动态列并转换为几列(Pyspark)

时间:2019-11-08 15:14:53

标签: json pyspark

我有一个数据框,其中的一列包含类似JSON的字符串,我想将其转换为几列。 (对不起,我不知道如何在这里建立漂亮的表格...)


我所拥有的:

id-参数
1-{'p1':0.1,'p2':0.3}
2-{'p1':0.2,'p3':0.1}


我需要什么:

id-p1-p2-p3
1-0.1-0.3-空
2-0.2-空-0.1


我打算使用get_json_object(),因此需要定义我的对象'$ .p1','$。p2'和'$ .p3'。但是我不知道会得到什么!因此,我设法确定了要添加的所有新列,并将它们放入列表params_list中,然后尝试以下操作:

  • get_json_object(input_df.params, '$'.params_list[i])

  • get_json_object(input_df.params, $[params_list[i]])

但是显然我在混合类型,不知道我在做什么,所以失败了。 有想法吗?

0 个答案:

没有答案