spark scala从数据框中的列表创建地图

Question

我的架构如下：

  id | info
  111|[{aaa:{12,abc}},{xxx:{14,def}}]
  222|[{ddd:{23,fgh}},{jjj:{13,ijk}}]
  333|[{aaa:{96,wer}]

我希望o / p为：

npm start

请帮忙

Answer 1

您的“信息”字段似乎包含一个列表，并且您希望将每个列表的第一个元素作为该列表的键。

也许试试：

    dataset.map(row => row.getAs[Seq[Row]]("info") 
           .map(list => Map (list.head, list.tail)))

我也是Scala的新手。由于我不知道您的特定架构，上述代码可能无法按预期工作。希望这有用。