如何计算通过比较spark中具有相同列的两个数据帧来更改列值的数量

时间:2017-11-20 09:47:09

标签: apache-spark apache-spark-sql spark-dataframe

如何比较两个数据帧,并根据使用spark的连接键获取从第一个数据帧更改为第二个数据帧的列数。

df1
id val1  val2  val3  val4
1   a    b    c    d
2   d    f    k    e
4   r    t    y    u

df2
id val1 val2 val3 val4
1   a    h    c    l
2   d    f    k    e
4   g    a    w    u

count:
id  count
1    2
2    0
4    3

1 个答案:

答案 0 :(得分:0)

process.stdin.setRawMode(true)

我已经将所有列包含在'id'字段中,因为结果0不会添加到总和中。

希望有所帮助!