在Scala中随机拆分数组

Question

我正在Scala中构建决策树系统，但我数据中的某些条目具有相同的属性。 我通过实现一个“随机”节点类型来解决这个问题，允许查询随机选择要遍历的分支，但是当我尝试随机分割剩余的例子时，我得到一个“MatchError”。 我目前的代码：

def splitRandom(examples: Array[String]): Array[String]={
        examples.collect {case x if(r.nextInt(100) < 50) => x}
}

“examples”是一个字符串数组，每个字符串都是一行，包含一个包含所有属性的数据条目。

Answer 1

collect不是随机行为的好选择，因为相同的条件可以被评估两次（首先在isDefinedAt，然后第二次计算值）;如果它第一次说真，假第二次 - 在同一输入 - 匹配将被打乱。请改用filter：

examples.filter(_ => r.nextInt(100) < 50)

Answer 2

有适合​​您的问题的解决方案：

import util.Random
val shuffled = Random.shuffle(your_array)
val (first, second) = shuffled.splitAt(your_position)

当我想要一个scd List或Array的rdd.randomSplit对应物时，我发现了这个技巧

如果需要，您可以进行某种类型转换