Spark中的Group_Concat函数的替代方法

Question

在spark中使用group_concat函数时遇到问题。

我已经尝试过collect_list，但似乎不起作用：

val secItemListDF = hiveCtx.sql(
      s"""SELECT secrecy_party_id  ,coalesce(group_concat(secrecy_reason_cd), 'DEFAULT') secrecy_item  , ${intMaxBatchId} + dense_rank() over(ORDER BY group_concat(secrecy_reason_cd))
         | AS secrecy_key FROM secrecy_party_list l""".stripMargin)

与查询中一样，我正在使用group_concat，但是Spark不支持此group_concat函数，执行时会显示未定义的函数。

Answer 1

您可以使用collect_set（忽略重复项）或collect_list（也保留重复项）