我正在尝试评估一些方法,而且我正在遇到性能上的绊脚石。
为什么我的cython代码这么慢?我的期望是代码运行速度要快得多(对于只有256 ** 2条目的2d循环,可能是纳秒),而不是毫秒。
以下是我的测试结果:
$ python setup.py build_ext --inplace; python test.py
running build_ext
counter: 0.00236220359802 sec
pycounter: 0.00323309898376 sec
percentage: 73.1 %
我的初始代码如下所示:
#!/usr/bin/env python
# encoding: utf-8
# filename: loop_testing.py
def generate_coords(dim, length):
"""Generates a list of coordinates from dimensions and size
provided.
Parameters:
dim -- dimension
length -- size of each dimension
Returns:
A list of coordinates based on dim and length
"""
values = []
if dim == 2:
for x in xrange(length):
for y in xrange(length):
values.append((x, y))
if dim == 3:
for x in xrange(length):
for y in xrange(length):
for z in xrange(length):
values.append((x, y, z))
return values
这适用于我需要的东西,但速度很慢。对于给定的暗淡,长度=(2,256),我看到iPython上的时间约为2.3ms。
为了加快这个速度,我开发了一个等效的cython(我认为它是等效的)。
#!/usr/bin/env python
# encoding: utf-8
# filename: loop_testing.pyx
# cython: boundscheck=False
# cython: wraparound=False
cimport cython
from cython.parallel cimport prange
import numpy as np
cimport numpy as np
ctypedef int DTYPE
# 2D point updater
cpdef inline void _counter_2d(DTYPE[:, :] narr, int val) nogil:
cdef:
DTYPE count = 0
DTYPE index = 0
DTYPE x, y
for x in range(val):
for y in range(val):
narr[index][0] = x
narr[index][1] = y
index += 1
cpdef DTYPE[:, :] counter(dim=2, val=256):
narr = np.zeros((val**dim, dim), dtype=np.dtype('i4'))
_counter_2d(narr, val)
return narr
def pycounter(dim=2, val=256):
vals = []
for x in xrange(val):
for y in xrange(val):
vals.append((x, y))
return vals
并且调用时间:
#!/usr/bin/env python
# filename: test.py
"""
Usage:
test.py [options]
test.py [options] <val>
test.py [options] <dim> <val>
Options:
-h --help This Message
-n Number of loops [default: 10]
"""
if __name__ == "__main__":
from docopt import docopt
from timeit import Timer
args = docopt(__doc__)
dim = args.get("<dim>") or 2
val = args.get("<val>") or 256
n = args.get("-n") or 10
dim = int(dim)
val = int(val)
n = int(n)
tests = ['counter', 'pycounter']
timing = {}
for test in tests:
code = "{}(dim=dim, val=val)".format(test)
variables = "dim, val = ({}, {})".format(dim, val)
setup = "from loop_testing import {}; {}".format(test, variables)
t = Timer(code, setup=setup)
timing[test] = t.timeit(n) / n
for test, val in timing.iteritems():
print "{:>20}: {} sec".format(test, val)
print "{:>20}: {:>.3} %".format("percentage", timing['counter'] / timing['pycounter'] * 100)
供参考,用于构建cython代码的setup.py:
from distutils.core import setup
from Cython.Build import cythonize
import numpy
include_path = [numpy.get_include()]
setup(
name="looping",
ext_modules=cythonize('loop_testing.pyx'), # accepts a glob pattern
include_dirs=include_path,
)
修改 链接到工作版本:https://github.com/brianbruggeman/cython_experimentation
答案 0 :(得分:3)
看起来你的Cython代码正在用numpy数组做一些奇怪的事情,并没有真正利用C编译。要检查生成的代码,请运行
setTimeout()
如果避免使用numpy部分并对Python函数进行简单的Cython转换会发生什么?
编辑:看起来你可以完全避免使用Cython来获得相当不错的加速。 (在我的机器上约30倍)
$(window).bind("load", function () {
var delay = 5000;
setTimeout(function () {
$('.splash').css('display', 'none');
}, delay);
});
答案 1 :(得分:3)
这个Cython代码很慢,因为narr[index][0] = x
赋值很大程度上依赖于Python C-API。使用,narr[index, 0] = x
代替,转换为纯C,并解决了这个问题。
正如@perimosocordiae所指出的那样,使用带注释的cythonize
绝对是调试此类问题的方法。
在某些情况下,对于gcc,<{1}}中明确指定编译标志也是值得的,
setup.py
假设合理的默认编译标志,这不是必需的。但是,例如,在我的Linux系统上,默认情况下似乎根本没有优化,并且添加了上述标志,从而显着提高了性能。