如何通过id合并Spark数据帧?

时间:2016-07-18 16:09:43

标签: python apache-spark spark-dataframe

假设我的数据帧x包含:id,C。

假设我的数据帧y包含:A,B,id。

如何在数据框y中找到id相同的行并合并y中的所有内容。

结果应为:

DataFrame:[A,B,C,id]

2 个答案:

答案 0 :(得分:1)

像这样:

CGImage

答案 1 :(得分:0)

merged = x.join(y, y.id==x.id)

使用drop()删除不必要的列。