Question

我有两个文本文件中的数据

file 1:(patient id,diagnosis code)
+----------+-------+
|patient_id|diag_cd|
+----------+-------+
|         1|  y,t,k|
|         2|  u,t,p|
|         3|  u,t,k|
|         4|  f,o,k|
|         5|  e,o,u|
+----------+-------+

file2(diagnosis code,diagnosis description) Time T1
+-------+---------+
|diag_cd|diag_desc|
+-------+---------+
|      y|      yen|
|      t|      ten|
|      k|      ken|
|      u|      uen|
|      p|      pen|
|      f|      fen|
|      o|      oen|
|      e|      een|
+-------+---------+

文件2中的

数据不是固定的，并且一直在变化，这意味着在任何给定的时间点，诊断代码y的诊断描述都为日元，而在其他时间点的诊断描述为10。例如下面的

file2 at Time T2
+-------+---------+
|diag_cd|diag_desc|
+-------+---------+
|      y|      ten|
|      t|      yen|
|      k|      uen|
|      u|      oen|
|      p|      ken|
|      f|      pen|
|      o|      een|
|      e|      fen|
+-------+---------+

我必须读取spark中的这两个文件数据，并且只需要那些被诊断为uen的患者id。可以同时使用spark sql或scala来完成。

我试图在spark-shell中读取file1。 file1中的两列用竖线分隔。

scala> val tes1 = sc.textFile("file1.txt").map(x => x.split('|')).filter(y => y(1).contains("u")).collect
tes1: Array[Array[String]] = Array(Array(2, u,t,p), Array(3, u,t,k), Array(5, e,o,u))

但是，与诊断描述相关的诊断代码在file2中不是恒定的，因此必须使用连接条件。但是当file1中的diag_cd列具有多个值时，我不知道如何应用联接。

任何帮助将不胜感激。

Answer 1

请在下面找到答案

///将file1读入数据框

val file1DF = spark.read.format("csv").option("delimiter","|")
.option("header",true)
.load("file1PATH")

///将file2读入数据框

val file2DF = spark.read.format("csv").option("delimiter","|")
.option("header",true)
.load("file2path")

//将diag_desc的患者ID数据帧设置为uen

file1DF.join(file2DF,file1DF.col("diag_cd").contains(file2DF.col("diag_cd")),"inner")
.filter(file2DF.col("diag_desc") === "uen")
.select("patient_id").show

Answer 2

使用爆炸方法将表t1从格式1转换为格式2。

格式1：

file 1:(patient id,diagnosis code)
+----------+-------+
|patient_id|diag_cd|
+----------+-------+
|         1|  y,t,k|
|         2|  u,t,p|
+----------+-------+

到

file 1:(patient id,diagnosis code)
+----------+-------+
|patient_id|diag_cd|
+----------+-------+
|         1|  y    |
|         1|  t    |
|         1|  k    |
|         2|  u    |
|         2|  t    |
|         2|  p    |
+----------+-------+

代码：

scala> val data = Seq("1|y,t,k", "2|u,t,p")
data: Seq[String] = List(1|y,t,k, 2|u,t,p)

scala> val df1 = sc.parallelize(data).toDF("c1").withColumn("patient_id", split(col("c1"), "\\|").getItem(0)).withColumn("col2", split(col("c1"), "\\|").getItem(1)).select("patient_id", "col2").withColumn("diag_cd", explode(split($"col2", "\\,"))).select("patient_id", "diag_cd")
df1: org.apache.spark.sql.DataFrame = [patient_id: string, diag_cd: string]

scala> df1.collect()
res4: Array[org.apache.spark.sql.Row] = Array([1,y], [1,t], [1,k], [2,u], [2,t], [2,p])

我在这里创建了虚拟数据以作说明。注意我们如何使用

展开上面的特定列

scala> val df1 = sc.parallelize(data).toDF("c1").
 | withColumn("patient_id", split(col("c1"), "\\|").getItem(0)).
 | withColumn("col2", split(col("c1"), "\\|").getItem(1)).
 | select("patient_id", "col2").
 | withColumn("diag_cd", explode(split($"col2", "\\,"))).
 | select("patient_id", "diag_cd")

df1：org.apache.spark.sql.DataFrame = [Patient_id：字符串，diag_cd：字符串]

现在您可以使用-

为文件2创建df2。

scala> val df2 = sc.textFile("file2.txt").map(x => (x.split(",")(0),x.split(",")(1))).toDF("diag_cd", "diag_desc")
df2: org.apache.spark.sql.DataFrame = [diag_cd: string, diag_desc: string]

将df1与df2结合并按要求进行过滤。

df1.join(df2, df1.col("diag_cd") === df2.col("diag_cd")).filter(df2.col("diag_desc") === "ten").select(df1.col("patient_id")).collect()

当我们在联接列中有多个值时，如何在Spark Scala中应用联接

2 个答案: