如何将集合作为新列追加到具有许多列的DataFrame中?

时间:2019-04-01 02:40:27

标签: scala apache-spark apache-spark-sql

我想将新列追加(添加)到具有多个列的现有数据框。

p

使用上述数据框,我想添加集合中的每个元素(例如常规的Scala集合或另一个单列DataFrame),例如

val a = Seq(
  ("10", "MILLER", "1300", "2017-11-03"),
  ("30", "Martin", "1250", "2017-11-21")).toDF("dept_no","emp_name","sal","date")
scala> a.show
+-------+--------+----+----------+
|dept_no|emp_name| sal|      date|
+-------+--------+----+----------+
|     10|  MILLER|1300|2017-11-03|
|     30|  Martin|1250|2017-11-21|
+-------+--------+----+----------+

如何将以上val lst = List("10", "Susan") 的元素添加到lst数据帧的行中(每行一个元素)?

1 个答案:

答案 0 :(得分:1)

让我们将lst转换为DataFrame:

val lst = List("10", "Susan").toDF

您可以使用zip的{​​{1}}方法:

RDD