Question

我希望有人可能会使用spark和scala知道这个问题的简单解决方案。

我有一些动物运动的网络数据，格式如下（目前在火花的数据框中）：

id  start end   date
12  0     10    20091017
12  10    20    20091201
12  20    0     20091215
12  0     15    20100220
12  15    0     20100320

id是动物的id，开始和结束是运动的位置（即第二行是从位置id 10到位置id 20的移动）。如果开始或结束为0表示动物出生或已经死亡（即第一排动物12出生，第3排动物死亡）。

我遇到的问题是收集了数据，以便动物ID在数据库中重复使用，因此在动物死亡后，其ID可能会重新出现。

我想要做的是对所有重复使用的动作应用唯一标记。所以你会得到像

这样的数据库

id  start end   date
12a 0     10    20091017
12a 10    20    20091201
12a 20    0     20091215
12b 0     15    20100220
12b 15    0     20100320

我一直在尝试一些不同的方法，但似乎无法获得任何有效的方法。数据库非常大（几千兆字节），所以需要一些非常有效的工作。

非常感谢任何帮助。

Answer 1

The only solution that may work relatively well directly on DataFrames is to use window functions but I still wouldn't expect particularly high performance here:

import org.apache.spark.sql.expressions.Window

val df = Seq(
  (12,  0, 10, 20091017), (12,  10, 20, 20091201),
  (12,  20, 0, 20091215), (12,  0, 15, 20100220),
  (12,  15, 0, 20100320)
).toDF("id", "start", "end", "date")

val w = Window.partitionBy($"id").orderBy($"date")
val uniqueId = struct(
  $"id", sum(when($"start" === 0, 1).otherwise(0)).over(w))

df.withColumn("unique_id", uniqueId).show

// +---+-----+---+--------+---------+
// | id|start|end|    date|unique_id|
// +---+-----+---+--------+---------+
// | 12|    0| 10|20091017|   [12,1]|
// | 12|   10| 20|20091201|   [12,1]|
// | 12|   20|  0|20091215|   [12,1]|
// | 12|    0| 15|20100220|   [12,2]|
// | 12|   15|  0|20100320|   [12,2]|
// +---+-----+---+--------+---------+

在spark / scala中给出重复值唯一标识符

1 个答案: