JMH microbenchmarking递归快速排序

时间:2014-07-04 11:12:31

标签: java benchmarking quicksort microbenchmark jmh

您好我正在尝试微型基准测试各种排序算法,我遇到了jmh和基准测试快速排序的奇怪问题。也许我的实施有问题。如果有人能帮我看看问题在哪里,我会很感兴趣。首先,我使用ubuntu 14.04和jdk 7以及jmh 0.9.1。 以下是我尝试做基准测试的方法:

@OutputTimeUnit(TimeUnit.MILLISECONDS)
@BenchmarkMode(Mode.AverageTime)
@Warmup(iterations = 3, time = 1)
@Measurement(iterations = 3, time = 1)
@State(Scope.Thread)
public class SortingBenchmark {

private int length = 100000;

private Distribution distribution = Distribution.RANDOM;

private int[] array;

int i = 1;

@Setup(Level.Iteration)
public void setUp() {
    array = distribution.create(length);
}

@Benchmark
public int timeQuickSort() {
    int[] sorted = Sorter.quickSort(array);
    return sorted[i];
}

@Benchmark
public int timeJDKSort() {
    Arrays.sort(array);
    return array[i];
}

public static void main(String[] args) throws RunnerException {
    Options opt = new OptionsBuilder().include(".*" + SortingBenchmark.class.getSimpleName() + ".*").forks(1)
            .build();

    new Runner(opt).run();
}
}

还有其他算法,但我把它们排除了,因为它们或多或少都可以。现在快速排序由于某种原因非常缓慢。时间的大小更慢!甚至更多 - 我需要为其分配更多的堆栈空间,以便在没有StackOverflowException的情况下运行。看起来由于某种原因,quicksort只是做了很多递归调用。有趣的是,当我在我的主类中运行算法时 - 它运行正常(具有相同的随机分布和100000个元素)。不需要堆栈增加,简单的纳米基准测试显示非常接近其他算法的时间。在基准测试中,使用jmh进行测试时JDK排序速度非常快,并且与其他使用naive纳米基准测试的算法更加一致。我在这里做错了什么或错过了什么? 这是我的快速排序算法:

public static int[] quickSort(int[] data) {
    Sorter.quickSort(data, 0, data.length - 1);
    return data;
}
private static void quickSort(int[] data, int sublistFirstIndex, int sublistLastIndex) {
    if (sublistFirstIndex < sublistLastIndex) {
        // move smaller elements before pivot and larger after
        int pivotIndex = partition(data, sublistFirstIndex, sublistLastIndex);
        // apply recursively to sub lists
        Sorter.quickSort(data, sublistFirstIndex, pivotIndex - 1);
        Sorter.quickSort(data, pivotIndex + 1, sublistLastIndex);
    }
}
private static int partition(int[] data, int sublistFirstIndex, int sublistLastIndex) {
    int pivotElement = data[sublistLastIndex];
    int pivotIndex = sublistFirstIndex - 1;
    for (int i = sublistFirstIndex; i < sublistLastIndex; i++) {
        if (data[i] <= pivotElement) {
            pivotIndex++;
            ArrayUtils.swap(data, pivotIndex, i);
        }
    }
    ArrayUtils.swap(data, pivotIndex + 1, sublistLastIndex);
    return pivotIndex + 1; // return index of pivot element
}

现在我明白,由于我的枢轴选择,如果我在已经排序的数据上运行它,我的算法将非常慢(O(n ^ 2))。但是我仍然在随机运行它,甚至当我尝试在我的main方法中对排序数据运行它时,随机数据上的jmh版本要快得多。我很确定我在这里遗漏了一些东西。您可以在此处找到包含其他算法的完整项目:https://github.com/ignl/SortingAlgos/

1 个答案:

答案 0 :(得分:2)

好的,因为这里确实应该有一个答案(而不是必须通过问题下面的评论),我把它放在这里,因为我被烧了。

JMH中的迭代是一批基准方法调用(取决于迭代设置的时间长度)。因此,使用@Setup(Level.Iteration)只会在调用序列的开头进行设置。由于数组在第一次调用之后进行排序,因此在后续调用的最坏情况(排序数组)上调用quicksort。这就是为什么它需要这么长时间或者打击堆栈的原因。

所以解决方案是使用@Setup(Level.Invocation)。但是,正如Javadoc中所述:

dateISO

正如Aleksey Shipilev建议的那样,将阵列复制成本吸收到每个基准测试方法中。由于您要比较相对表现,这不应该影响您的结果。