Question

我想将两个连续的行i与i-1的{{1}}进行比较（按col2排序）。

如果col1行的item_i与i不同，我希望将item_[i-1]_row的计数增加1。

item_[i-1]

在上面的示例中，如果我们一次向下扫描两行，我们会发现+--------------+ | col1 col2 | +--------------+ | row_1 item_1 | | row_2 item_1 | | row_3 item_2 | | row_4 item_1 | | row_5 item_2 | | row_6 item_1 | +--------------+和row_2不同，因此我们在item_1中添加了一行。接下来，我们看到row_3与row_3不同，然后将{1}添加到row_4。继续，直到我们结束：

item_2

Answer 1

您可以使用窗口函数和聚合的组合来执行此操作。 window函数用于获取col2的下一个值（使用col1进行排序）。然后聚合计算我们遇到差异的时间。这在以下代码中实现：

val data = Seq(
  ("row_1", "item_1"),
  ("row_2", "item_1"),
  ("row_3", "item_2"),
  ("row_4", "item_1"),
  ("row_5", "item_2"),
  ("row_6", "item_1")).toDF("col1", "col2")

import org.apache.spark.sql.expressions.Window
val q = data.
  withColumn("col2_next",
    coalesce(lead($"col2", 1) over Window.orderBy($"col1"), $"col2")).
  groupBy($"col2").
  agg(sum($"col2" =!= $"col2_next" cast "int") as "col3")

scala> q.show
17/08/22 10:15:53 WARN WindowExec: No Partition Defined for Window operation! Moving all data to a single partition, this can cause serious performance degradation.
+------+----+
|  col2|col3|
+------+----+
|item_1|   2|
|item_2|   2|
+------+----+

如何比较多行？

1 个答案: