Question

我理解there is overhead in setting up并行Stream的处理，如果项目很少或每个项目的处理速度很快，单个线程中的处理速度会更快。

但是，trySplit()是否存在类似的阈值，将问题分解为较小的块会产生相反的效果？我通过类比来思考合并排序切换到最小块的插入排序。

如果是，阈值是否取决于trySplit()过程中tryAdvance()和consuming项目的相对费用？例如，考虑拆分操作比推进数组索引 - 分割词法排序的多集排列要复杂得多。是否存在允许客户在创建并行流时指定拆分下限的约定，具体取决于其使用者的复杂程度？ Spliterator可以使用启发式来估计下限本身吗？

或者，或者，将Spliterator的下限设为1是否总是安全的，让工作窃取算法负责选择是否继续拆分？

Answer 1

通常，您不知道传递给tryAdvance或forEachRemaining的消费者做了多少工作。流管道和FJP都不知道这一点，因为它取决于用户提供的代码。它可以比分割程序快得多或慢得多。例如，您可能有两个元素输入，但每个元素的处理需要一个小时，因此拆分此输入是非常合理的。

我通常会尽可能多地分割输入。有三个技巧可以用来改善分裂：

如果难以均匀分割，但您可以跟踪（或至少粗略估计）每个子部件的尺寸，请随意分开。流实现将为更大的部分进行更多的拆分。不要忘记SIZED和SUBSIZED特征。

将拆分的难点部分移至下一个tryAdvance / forEachRemaining来电。例如，假设您具有已知数量的排列，并且在trySplit中您将跳转到其他排列。像这样：

public class MySpliterator implements Spliterator<String> {
    private long position;
    private String currentPermutation;
    private final long limit;

    MySpliterator(long position, long limit, String currentPermutation) {
        this.position = position;
        this.limit = limit;
        this.currentPermutation = currentPermutation;
    }

    @Override
    public Spliterator<String> trySplit() {
        if(limit - position <= 1)
            return null;
        long newPosition = (position+limit)>>>1;
        Spliterator<String> prefix = 
                 new MySpliterator(position, newPosition, currentPermutation);
        this.position = newPosition;
        this.currentPermutation = calculatePermutation(newPosition); // hard part
        return prefix;
    }

    ...
}

将硬部分移动到下一个tryAdvance调用，如下所示：

@Override
public Spliterator<String> trySplit() {
    if(limit - position <= 1)
        return null;
    long newPosition = (position+limit)>>>1;
    Spliterator<String> prefix = 
             new MySpliterator(position, newPosition, currentPermutation);
    this.position = newPosition;
    this.currentPermutation = null;
    return prefix;
}

@Override
public boolean tryAdvance(Consumer<? super String> action) {
    if(currentPermutation == null)
        currentPermutation = calculatePermutation(position); // hard part
    ...
}

这样，硬件也将与前缀处理并行执行。

如果您在当前的分裂器中没有留下那么多元素（例如，少于10个）并且请求了分割，那么只需将一半元素收集到它们中就可以了。数组，然后为此前缀创建一个基于数组的spliterator（类似于它在AbstractSpliterator.trySplit()中完成的方式）。在这里，您可以控制所有代码，因此您可以提前测量trySplit正常tryAdvance的速度，并在切换到基于阵列的拆分时估算阈值。

Spliterator什么时候应该停止分裂？

1 个答案: