在Spark中合并重叠数组

Question

如何使用spark将重叠数组合并为一个。

    ids 
    ---------
    [1,2,3]
    [2,3,4]
    [2,3]
    [6,7,8,9]

预期输出如下：

    ids 
    ---------
    [1,2,3,4]
    [6,7,8,9]

如何使用spark实现以上输出？