标签： scala apache-spark
我正在尝试使用row_number（）函数以便在Spark / Scala中的每个分区中找到最后一行。由于每个分区的长度都不同，因此我无法放置固定的数字。
基本上，我正在尝试使用这样的语句
.withColumn("XYZ", when(row_number(FINAL) = value, "X").otherwise("Y"))
关于函数的任何想法都可以使我做到这一点？