Question

我有一个pyspark数据框，如：c1，c2，c3，c4，c5，c6是列

   +----------------------------+   
   |c1 | c2 | c3 | c4 | c5 | c6 |  
   |----------------------------|   
   | a |  x |  y |  z |  g |  h |    
   | b |  m |  f |  l |  n |  o |    
   | c |  x |  y |  z |  g |  h |    
   | d |  m |  f |  l |  n |  o |    
   | e |  x |  y |  z |  g |  i |   
   +----------------------------+

我想提取具有相同c2，c3，c4，c5值但c1值不同的行的c1值。喜欢，第1，第3和第第5行具有相同的c2，c3，c4和＆amp;的值。 c5但c1值不同。所以输出应该是 a，c＆amp; ë即可。
的（更新） 类似地，第二＆amp;第4行对c2，c3，c4＆amp;具有相同的值。 c5但c1值不同。所以输出还应该包含 b＆amp; d

我如何获得这样的结果？我尝试过应用groupby，但我不明白如何获得c1的不同值。

更新：

输出应为c1值的数据帧

# +-------+
# |c1_dups|
# +-------+
# |  a,c,e|
# |    b,e|
# +-------+

我的方法：

m = data.groupBy('c2','c3','c4','c5)

但我不明白如何以m为单位检索值。我是pyspark数据帧的新手，因此非常困惑

Answer 1

这实际上非常简单，让我们先创建一些数据：

schema = ['c1','c2','c3','c4','c5','c6']

rdd = sc.parallelize(["a,x,y,z,g,h","b,x,y,z,l,h","c,x,y,z,g,h","d,x,f,y,g,i","e,x,y,z,g,i"]) \
        .map(lambda x : x.split(","))

df = sqlContext.createDataFrame(rdd,schema)
# +---+---+---+---+---+---+
# | c1| c2| c3| c4| c5| c6|
# +---+---+---+---+---+---+
# |  a|  x|  y|  z|  g|  h|
# |  b|  x|  y|  z|  l|  h|
# |  c|  x|  y|  z|  g|  h|
# |  d|  x|  f|  y|  g|  i|
# |  e|  x|  y|  z|  g|  i|
# +---+---+---+---+---+---+

现在是有趣的部分，您只需要导入一些功能，分组并爆炸如下：

from pyspark.sql.functions import *

dupes = df.groupBy('c2','c3','c4','c5') \ 
          .agg(collect_list('c1').alias("c1s"),count('c1').alias("count")) \ # we collect as list and count at the same time
          .filter(col('count') > 1) # we filter dupes

df2 = dupes.select(explode("c1s").alias("c1_dups"))

df2.show()
# +-------+
# |c1_dups|
# +-------+
# |      a|
# |      c|
# |      e|
# +-------+

我希望这能回答你的问题。

PySpark Dataframe根据其他列中的重复值识别一列上的不同值

1 个答案: