Question

我有两个Spark数据帧 DataFrame A：

Col_A1     Col_A2  
1      ["x", "y", "z"]  
2      ["a", "x", "y"]  
3      ["a", "b", "c"]

DataFrame B：

Col_B1  
"x"  
"a"  
"y"

我想检查数据集A的哪些条目，例如，在其Col_A2中有"x"的Dataframe B，并将其作为新的数据帧本身返回。我一再想对数据帧B的其余条目做同样的事。

输出需要类似于：

DataFrame A_x：

Col_A1     Col_A2  
1      ["x", "y", "z"]  
2      ["a", "x", "y"]

DataFrame A_a：

Col_A1     Col_A2  
2      ["a", "x", "y"]  
3      ["a", "b", "c"]

Dataframe A_y

Col_A1     Col_A2  
1        ["x", "y", "z"]  
2        ["a", "x", "y"]

我尝试使用udfs和map功能，但并没有真正得到我想要的东西。提前谢谢。

Answer 1

如果您的数据框B很小并且可以收集到列表中，加上其不同值的数量 small ，您可以为每个编写一个简单的UDF其元素[更新：以更简单的方式查看帖子的结尾];以下是'x'的示例：

spark.version
# u'2.2.0'

from pyspark.sql import Row

df_a = spark.createDataFrame([Row(1, ["x", "y", "z"]),
                              Row(2, ["a", "x", "y"]),
                              Row(3, ["a", "b", "c"])],
                              ["col_A1", "col_A2"])

@udf('boolean')

def x_isin(v):
  if 'x' in v:
    return True
  else:
    return False

temp_x = df_a.withColumn('x_isin', x_isin(df_a.col_A2))
temp_x.show()
# +------+---------+------+
# |col_A1|   col_A2|x_isin|
# +------+---------+------+
# |     1|[x, y, z]|  true|
# |     2|[a, x, y]|  true|
# |     3|[a, b, c]| false|
# +------+---------+------+

df_a_x = temp_x.filter(temp_x.x_isin==True).drop('x_isin')
df_a_x.show()
# +------+---------+ 
# |col_A1|   col_A2|
# +------+---------+
# |     1|[x, y, z]|
# |     2|[a, x, y]|
# +------+---------+

更新（在Marie的评论之后）：

感谢Marie指出array_contains函数 - 现在你确实不需要UDF来构建temp_x：

import pyspark.sql.functions as func

temp_x = df_a.withColumn('x_isin', func.array_contains(df_a.col_A2, 'x'))
temp_x.show() # same result as shown above

加入两个数据帧并存储在新数据框

1 个答案: