从列中添加变量计数列

Question

在apache spark中，我的数据框是＆＃39; category＆＃39;专栏总是＆＃39; a＆＃39;或者＆＃39; b＆＃39;。

user_id | category
====================
1       | a
1       | a
1       | b
2       | a
2       | b
2       | b

我想制作专栏＆＃39; a＆＃39;和列＆＃39; b＆＃39;为了他们的数量。 我想要的结果如下。

user_id | a | b
===============
1       | 2 | 1
2       | 1 | 2

Answer 1

您可以使用条件聚合：

SELECT user_id, 
       COUNT(CASE WHEN category = 'a' THEN 1 END) AS a
       COUNT(CASE WHEN category = 'b' THEN 1 END) AS b
FROM mytable
GROUP BY user_id

Answer 2

这样做无需事先知道a和b：

df.groupBy($"id").pivot("category").count().show

Answer 3

全部谢谢。 为了完整性，我使用了带有列表[＆＃39; a＆＃39;，＆＃39; b＆＃39;]的数据透视方法。

df.groupBy($"id").pivot("category", ['a', 'b']).count().show