Spark数据框顺序通过使用变量

时间:2019-06-18 11:23:36

标签: scala sorting apache-spark dataframe

我正在尝试做这样的事情,但是它给出了一个错误。在仍使用变量的情况下这样做的正确方法是什么?

import org.apache.spark.sql._
....
val seq = Seq[Column](new Column("colX"), new Column("colY"), new Column("colZ"))
someDataFrame.orderBy(seq)

我知道也可以使用orderBy("colX", "colY", "colZ")之类的东西,但是在这里我想使用一个变量,因为我的订单顺序会在不同的条件下发生变化。

我收到这样的错误。

error: overloaded method value orderBy with alternatives:
  (sortExprs: org.apache.spark.sql.Column*)org.apache.spark.sql.Dataset[org.apache.spark.sql.Row] <and>
  (sortCol: String,sortCols: String*)org.apache.spark.sql.Dataset[org.apache.spark.sql.Row]
 cannot be applied to (Seq[org.apache.spark.sql.Column])

1 个答案:

答案 0 :(得分:2)

尝试此操作,您应该将Array或List转换为值序列(实际序列不是Seq

someDataFrame.orderBy(seq:_*)

此处快速测试:

输入

df.show
+---+---+
| _1| _2|
+---+---+
|  c|  0|
|  b|  1|
|  a|  0|
+---+---+


val s = Seq(new Column("_1"), new Column("_2"))

df.orderBy(s:_*).show
+---+---+
| _1| _2|
+---+---+
|  a|  0|
|  b|  1|
|  c|  0|
+---+---+