Spark Dataframe按多个具有不同数据类型的列排序

时间:2016-12-08 01:14:13

标签: scala apache-spark apache-spark-sql

如何在spark DataFrame中对具有不同数据类型的多个列进行排序?

我正在使用Windows功能进行分组和排序。

我的代码:

val sortCols = sortKeyList.map(col(_).desc)

val sortW = Window.partitionBy(pkCol: _*).orderBy(sortCols:_*)

排序键具有不同的数据类型,因此我得到以下错误,

User class threw exception: org.apache.spark.sql.AnalysisException: cannot resolve '(t_releasetime DESC && dateto DESC)' due to data type mismatch: differing types in

我使用的Spark版本是1.5.2

0 个答案:

没有答案