如何将唯一的id列添加到DataFrame,Apache Spark,Scala

时间:2017-03-17 09:01:47

标签: scala apache-spark apache-spark-sql spark-dataframe

我有一个DataFrame,我想与另一个Dataframe连接,然后按原始行分组,但原始行没有唯一的ID。如何添加唯一ID或以其他方式实现该目标。

1 个答案:

答案 0 :(得分:9)

您可以使用monotonically_increasing_id

import org.apache.spark.sql.functions._
val unique_df = original_df.withColumn("UniqueID", monotonically_increasing_id)