Question

this question中出现了python随机模块的性能问题，特别是random.sample和random.shuffle。在我的计算机上，我得到以下结果：

> python  -m timeit -s 'import random' 'random.randint(0,1000)'
1000000 loops, best of 3: 1.07 usec per loop
> python3 -m timeit -s 'import random' 'random.randint(0,1000)'
1000000 loops, best of 3: 1.3 usec per loop

python3与python2的性能下降超过20％。情况变得更糟。

> python  -m timeit -s 'import random' 'random.shuffle(list(range(10)))'
100000 loops, best of 3: 3.85 usec per loop
> python3 -m timeit -s 'import random' 'random.shuffle(list(range(10)))'
100000 loops, best of 3: 8.04 usec per loop

> python  -m timeit -s 'import random' 'random.sample(range(10),3)'
100000 loops, best of 3: 2.4 usec per loop
> python3 -m timeit -s 'import random' 'random.sample(range(10),3)'
100000 loops, best of 3: 6.49 usec per loop

这表示random.shuffle的性能下降100％，random.sample的性能下降近200％。这非常严重。

我在上面的测试中使用了python 2.7.9和python 3.4.2。

我的问题：python3中的random模块发生了什么？

Answer 1

-----------改变了什么------------------------------- ----------------

发生了几件事：

整数在整数/长期统一中变得不那么有效。这也是为什么整数现在是28字节宽而不是64位Linux / MacOS版本上的24字节。

使用_randbelow，Shuffle变得更加准确。这消除了先前算法中的微妙偏差。

索引变得更慢，因为从 ceval.c 中删除了整数索引的特殊情况，主要是因为它更难以处理更新的整数，并且因为一些核心开发人员没有＆＃ 39;认为优化是值得的。

范围（）函数已替换为 xrange（）。这是相关的，因为OP的时序都在内循环中使用 range（）。

shuffle（）和 sample（）的算法原本没有改变。

Python 3做了许多改变，比如unicode-无处不在，这使得内部更复杂，更慢，内存更密集。作为回报，Python 3使用户更容易编写正确的代码。

同样，int / long统一使语言更简单，但代价是速度和空间。在随机模块中切换到使用_randbelow()会产生运行时成本，但在准确性和正确性方面会受益。

-----------结论-------------------------------- ------------------

简而言之，Python 3在某些方面对许多用户来说更好，在某些方面更糟糕，人们很少注意到。工程通常需要权衡利弊。

-----------详情-------------------------------- -------------------------

shuffle（）的Python2.7代码：

def shuffle(self, x, random=None): if random is None: random = self.random _int = int for i in reversed(xrange(1, len(x))): # pick an element in x[:i+1] with which to exchange x[i] j = _int(random() * (i+1)) x[i], x[j] = x[j], x[i]

shuffle（）的Python3.6代码：

def shuffle(self, x, random=None): if random is None: randbelow = self._randbelow for i in reversed(range(1, len(x))): # pick an element in x[:i+1] with which to exchange x[i] j = randbelow(i+1) # <-- This part changed x[i], x[j] = x[j], x[i] else: _int = int for i in reversed(range(1, len(x))): # pick an element in x[:i+1] with which to exchange x[i] j = _int(random() * (i+1)) x[i], x[j] = x[j], x[i]

Python 2.7整数大小：

>>> import sys >>> sys.getsizeof(1) 24

Python 3.6整数大小：

>>> import sys >>> sys.getsizeof(1) 28

索引查找的相对速度（使用索引到列表中的整数参数的二进制订阅）：

$ python2.7 -m timeit -s 'a=[0]' 'a[0]' 10000000 loops, best of 3: 0.0253 usec per loop $ python3.6 -m timeit -s 'a=[0]' 'a[0]' 10000000 loops, best of 3: 0.0313 usec per loop

ceval.c 中的Python 2.7代码，其中包含索引查找的优化：

TARGET_NOARG(BINARY_SUBSCR) { w = POP(); v = TOP(); if (PyList_CheckExact(v) && PyInt_CheckExact(w)) { /* INLINE: list[int] */ Py_ssize_t i = PyInt_AsSsize_t(w); if (i < 0) i += PyList_GET_SIZE(v); if (i >= 0 && i < PyList_GET_SIZE(v)) { x = PyList_GET_ITEM(v, i); Py_INCREF(x); } else goto slow_get; } else slow_get: x = PyObject_GetItem(v, w); Py_DECREF(v); Py_DECREF(w); SET_TOP(x); if (x != NULL) DISPATCH(); break; }

ceval.c 中的Python 3.6代码，没有对索引查找进行优化：

TARGET(BINARY_SUBSCR) { PyObject *sub = POP(); PyObject *container = TOP(); PyObject *res = PyObject_GetItem(container, sub); Py_DECREF(container); Py_DECREF(sub); SET_TOP(res); if (res == NULL) goto error; DISPATCH(); }

python 2 vs python 3随机性能，特别是`random.sample`和`random.shuffle`

1 个答案: