Question

我已经从一个csv文件创建了一个Spark数据集。

架构为：

 |-- FirstName: string (nullable = true)<br>
 |-- LastName: string (nullable = true)<br>
 |-- Email: string (nullable = true)<br>
 |-- Phone: string (nullable = true)

我正在电子邮件字段上执行重复数据删除：

Dataset<Row> customer=  spark.read().option("header","true").option("charset","UTF8")
                    .option("delimiter",",").csv(path);

Dataset<Row> distinct =  customer.select(col).distinct();

我想用带有不同电子邮件ID的行创建一个输出csv文件。

如何查询以检索具有不同电子邮件记录的数据集？

样本输入：

John David john.david@abc.com 2222
John Smith john.smith@abc.com 4444
John D john.david@abc.com 2222

样本输出：

John David john.david@abc.com 2222
John Smith john.smith@abc.com 4444

预先感谢

Answer 1

这是使用窗口功能的一种方法。

import org.apache.spark.sql.functions.row_number
import org.apache.spark.sql.expressions.Window

val df = Seq(
("John", "David", "john.david@abc.com", 2222),
("John", "Smith", "john.smith@abc.com", 4444),
("John", "D", "john.david@abc.com", 2222)       
).toDF("FirstName", "LastName", "Email", "Phone")

val w = Window.partitionBy($"Email").orderBy($"Phone")

df.withColumn("row", row_number.over(w))
              .where($"row" === 1)
              .drop("row")
              .show(false)

该代码将通过电子邮件进行分区，然后将返回每个分区的第一行。

输出：

+---------+--------+------------------+-----+
|FirstName|LastName|Email             |Phone|
+---------+--------+------------------+-----+
|John     |Smith   |john.smith@abc.com|4444 |
|John     |David   |john.david@abc.com|2222 |
+---------+--------+------------------+-----+

检索列中具有不同值的Spark数据集

1 个答案: