Question

我有一个带键的数据框和一个在数据框列中带有结构数组的列。每行包含一列，看起来像这样：

[
    {"id" : 1, "someProperty" : "xxx", "someOtherProperty" : "1", "propertyToFilterOn" : 1},
    {"id" : 2, "someProperty" : "yyy", "someOtherProperty" : "223", "propertyToFilterOn" : 0},
    {"id" : 3, "someProperty" : "zzz", "someOtherProperty" : "345", "propertyToFilterOn" : 1}
]

现在我想做两件事：

“ propertyToFilterOn” = 1上的过滤器
对其他应用一些逻辑属性-例如连接

结果是：

[
{"id" : 1, "newProperty" : "xxx_1"},
{"id" : 3, "newProperty" : "zzz_345"}
]

我知道如何进行爆炸，但是爆炸在将其放回原处时还需要groupBy。但是，由于这是一个流式数据框，因此我还必须在它上面加一个水印，这是我想避免的。

还有其他方法可以实现而不使用爆炸吗？我敢肯定，有一些Scala魔术可以实现这一目标！

谢谢！

Answer 1

spark 2.4带来了许多用于数组的高阶函数。（请参阅https://docs.databricks.com/_static/notebooks/apache-spark-2.4-functions.html）

val dataframe = Seq(
("a", 1, "xxx", "1", 1),
("a", 2, "yyy", "223", 0),
("a", 3, "zzz", "345", 1)
).toDF( "grouping_key", "id" , "someProperty" , "someOtherProperty", "propertyToFilterOn" )
.groupBy("grouping_key")
.agg(collect_list(struct("id" , "someProperty" , "someOtherProperty", "propertyToFilterOn")).as("your_array"))

dataframe.select("your_array").show(false)

+----------------------------------------------------+
|your_array                                          |
+----------------------------------------------------+
|[[1, xxx, 1, 1], [2, yyy, 223, 0], [3, zzz, 345, 1]]|
+----------------------------------------------------+

您可以使用数组过滤器高阶函数来过滤数组中的元素，如下所示：

val filteredDataframe = dataframe.select(expr("filter(your_array, your_struct -> your_struct.propertyToFilterOn == 1)").as("filtered_arrays"))

filteredDataframe.show(false)

+----------------------------------+
|filtered_arrays                   |
+----------------------------------+
|[[1, xxx, 1, 1], [3, zzz, 345, 1]]|
+----------------------------------+

对于您所谈论的“其他逻辑”，您应该能够像这样使用变换高阶数组函数：

val tranformedDataframe = filteredDataframe
.select(expr("transform(filtered_arrays, your_struct -> struct(concat(your_struct.someProperty, '_', your_struct.someOtherProperty))"))

但是如本文所述，从transform函数返回结构存在一些问题：

http://mail-archives.apache.org/mod_mbox/spark-user/201811.mbox/%3CCALZs8eBgWqntiPGU8N=ENW2Qvu8XJMhnViKy-225ktW+_c0czA@mail.gmail.com%3E

所以您最好像这样使用数据集api进行转换：

case class YourStruct(id:String, someProperty: String, someOtherProperty: String)
case class YourArray(filtered_arrays: Seq[YourStruct])

case class YourNewStruct(id:String, newProperty: String)

val transformedDataset = filteredDataframe.as[YourArray].map(_.filtered_arrays.map(ys => YourNewStruct(ys.id, ys.someProperty + "_" + ys.someOtherProperty)))

val transformedDataset.show(false)

+--------------------------+
|value                     |
+--------------------------+
|[[1, xxx_1], [3, zzz_345]]|
+--------------------------+

结构的Spark（Scala）过滤器数组不爆炸

1 个答案: