如何在spark DataFrame中对具有不同数据类型的多个列进行排序?
我正在使用Windows功能进行分组和排序。
我的代码:
val sortCols = sortKeyList.map(col(_).desc)
val sortW = Window.partitionBy(pkCol: _*).orderBy(sortCols:_*)
排序键具有不同的数据类型,因此我得到以下错误,
User class threw exception: org.apache.spark.sql.AnalysisException: cannot resolve '(t_releasetime DESC && dateto DESC)' due to data type mismatch: differing types in
我使用的Spark版本是1.5.2
。