Question

以下是使用scala中的spark数据框进行分组和过滤的数据：

+---------------+------+--------+-------+------+------+------+------+------+--------+
|         keys  |num_1 |num_2   |num_3  |num_4 |num_5 |num_6 |num_7 |num_8 |num_9   |
+---------------+------+--------+-------+------+------+------+------+------+--------+
|              1|     0|       0|      0|     0|     0|     0|     0|     0|       0|
|              2|     0|       0|      0|     0|     0|     0|     0|     0|       0|
|              3|     0|     134|      0|     0|    44|   332|     0|   423|     111|
|              4|     0|     338|      0|     0|     0|     0|     0|     0|       0|
|              5|     0|       0|      0|     0|     0|     0|     0|     0|       0|
|              6|     0|       0|      0|     0|     0|     0|     0|     0|       0|
|              7|     0|     130|      4|    11|     0|     5|  1222|     0|       0|
|              8|     0|       1|      0|     0|     0|     0|     0|     0|       2|

从过滤的数据中，有一种简单的方法可以只选择超过5个值超过0的键吗？

（例如，只有键3和7将与八个键中的值一起选择）

我想到的唯一方法是分别检查每个值（num_1，num_2，...，num_9），如果它们大于0，则对变量进行增量（例如变量＆＃39; i＆＃39）。如果在检查结束时变量大于5，请选择带有值的键。但这种方式看起来很长。

Answer 1

使用以下方法创建过滤条件：

df.columns.tail.map(x => when(col(x) > 0, 1).otherwise(0)).reduce(_ + _) >= 5

将大于0的值转换为1，否则为0。然后在所有列中使用reduce来计算每行1个。

df.filter(df.columns.tail.map(x => when(col(x) > 0, 1).otherwise(0)).reduce(_ + _) >= 5).show

+----+-----+-----+-----+-----+-----+-----+-----+-----+-----+
|keys|num_1|num_2|num_3|num_4|num_5|num_6|num_7|num_8|num_9|
+----+-----+-----+-----+-----+-----+-----+-----+-----+-----+
|   3|    0|  134|    0|    0|   44|  332|    0|  423|  111|
|   7|    0|  130|    4|   11|    0|    5| 1222|    0|    0|
+----+-----+-----+-----+-----+-----+-----+-----+-----+-----+

仅当超过5个值超过0

1 个答案: