在PySpark中合并两个数据帧

Question

我有两个数据帧，DF1和DF2，DF1是主存储器，用于存储DF2的任何其他信息。

让我们说DF1的格式如下，

Item Id | item      | count
---------------------------
1       | item 1    | 2
2       | item 2    | 3
1       | item 3    | 2
3       | item 4    | 5

DF2包含已存在于DF1中的2个项目和两个新条目。 （itemId和item被视为单个组，可以视为加入的键）

Item Id | item      | count
---------------------------
1       | item 1    | 2
3       | item 4    | 2
4       | item 4    | 4
5       | item 5    | 2

我需要合并两个数据框，以便增加现有项目数量并插入新项目。

结果应该是：

Item Id | item      | count
---------------------------
1       | item 1    | 4
2       | item 2    | 3
1       | item 3    | 2
3       | item 4    | 7
4       | item 4    | 4
5       | item 5    | 2

我有一种方法可以做到这一点，不确定它是否有效或正确的方法

temp1 = df1.join(temp,['item_id','item'],'full_outer') \
    .na.fill(0)

temp1\
    .groupby("item_id", "item")\
    .agg(F.sum(temp1["count"] + temp1["newcount"]))\
    .show()

Answer 1

由于两个数据帧的架构相同，因此您可以执行union并执行goupby ID和aggregate计数。

step1: df3 = df1.union(df2);
step2: df3.groupBy("Item Id", "item").agg(sum("count").as("count"));

Answer 2

有几种方法可以做到。

根据您的描述，最直接的解决方案是使用RDD - %：

SparkContext.union

替代解决方案是使用rdd1 = sc.parallelize(DF1) rdd2 = sc.parallelize(DF2) union_rdd = sc.union([rdd1, rdd2])

中的DataFrame.union

注意：我之前已建议pyspark.sql，但在Spark 2.0中已弃用

Answer 3

建议使用

@wandermonk的解决方案，因为它不使用连接。尽可能避免加入连接，因为这会触发混洗（也称为宽转换，并导致通过网络进行数据传输，这既昂贵又缓慢）

您还必须查看数据大小（两个表都是大表还是一个小表又一个大表，等等），因此，您可以调整数据的性能方面。

我尝试通过使用SparkSQL的解决方案向小组展示，因为他们做同样的事情，但更易于理解和操纵。

from pyspark.sql.types import StructType, StructField, IntegerType, StringType

list_1 = [[1,"item 1" , 2],[2 ,"item 2", 3],[1 ,"item 3" ,2],[3 ,"item 4" , 5]]
list_2 = [[1,"item 1",2],[3 ,"item 4",2],[4 ,"item 4",4],[5 ,"item 5",2]]

my_schema = StructType([StructField("Item_ID",IntegerType(), True),StructField("Item_Name",StringType(), True ),StructField("Quantity",IntegerType(), True)])
df1 = spark.createDataFrame(list_1, my_schema)
df2 = spark.createDataFrame(list_2, my_schema)

df1.createOrReplaceTempView("df1")
df1.createOrReplaceTempView("df2")

df3 = df2.union(df1)
df3.createOrReplaceTempView("df3")
df4 = spark.sql("select Item_ID, Item_Name, sum(Quantity) as Quantity from df3 group by Item_ID, Item_Name")
df4.show(10)

现在，如果您查看SparkUI，可以看到如此小的数据集，随机播放操作和阶段数。

这么小的工作的阶段数

通过命令对该组的随机播放操作编号

我还建议您查看SQL计划并了解成本。交换代表这里的洗牌。

== Physical Plan ==
*(2) HashAggregate(keys=[Item_ID#6, Item_Name#7], functions=[sum(cast(Quantity#8 as bigint))], output=[Item_ID#6, Item_Name#7, Quantity#32L])
+- Exchange hashpartitioning(Item_ID#6, Item_Name#7, 200)
   +- *(1) HashAggregate(keys=[Item_ID#6, Item_Name#7], functions=[partial_sum(cast(Quantity#8 as bigint))], output=[Item_ID#6, Item_Name#7, sum#38L])
      +- Union
         :- Scan ExistingRDD[Item_ID#6,Item_Name#7,Quantity#8]
         +- Scan ExistingRDD[Item_ID#0,Item_Name#1,Quantity#2]