解析spark中的JSON数组列

时间:2017-11-05 15:01:17

标签: json scala apache-spark

我有一个格式为JSON的列,下面的示例

[
    [
        "term 1", 
        0.24845117924820814
    ], 
    [
        "term 2", 
        0.23461496126403247
    ], 
    [
        "term 3", 
        0.2168362346946176
    ]
]

是否能够提取数组中每个元素的术语和分数?

我在df select操作中尝试了两个functions.from_json,但是在为这个json数组编写合适的模式时失败了。以下示例

posts
  .select(
    $"post_id",
    functions.from_json($"terms", jsonSchema)
  )
  .show()

0 个答案:

没有答案