从Scala / Spark中的时间戳的数据框列中获取最大值

Question

我正在使用spark数据帧，其中包含来自Column'IMG_CREATED_DT'的整个时间戳记值。我使用了collectAsList()和toString()方法来获取这些值作为{{ 1}}，然后转换为List。但是我没有从中获取最大价值的方法。请指导我。

String

如何从 val query_new =s"""(select IMG_CREATED_DT from ${conf.get(UNCAppConstants.DB2_SCHEMA)}.$table)""" println(query_new) val db2_op=ConnectionUtilities_v.createDataFrame(src_props,srcConfig.url,query_new) val t3 = db2_op.select("IMG_CREATED_DT").collectAsList().toString 中获取最大值。

Answer 1

您可以计算表单数据框本身的最大值。尝试以下示例。

val t3 = db2_op.agg(max("IMG_CREATED_DT").as("maxVal")).take(1)(0).get(0)