Spark:将哈希图放入“数据集”列中?

时间:2020-10-28 10:12:46

标签: apache-spark

我有一个数据集Dataset<Row>,该数据集来自读取镶木地板文件。知道InfoMap中的一列是Map类型。

现在我想更新此列,但是当我使用withColumn时,它告诉我不能将哈希图放入其中,因为它不是乱码。

我想知道为数据集更新Map类型的列的正确方法是什么?

1 个答案:

答案 0 :(得分:2)

尝试使用typedLit代替lit

typedLit

“ ...此函数与lit()之间的区别在于 函数可以处理参数化的Scala类型,例如:List,Seq和Map“

data.withColumn("dictionary", typedLit(Map("foo" -> 1, "bar" -> 2)))