Cython:pyximport:在pyximport.install

时间:2015-05-04 10:49:30

标签: python python-3.x profiling cython

我的Python 3项目正在使用cython。

在生产部署中,我使用了一个构建脚本,除其他外,它禁用了分析:

from distutils.core import setup
from Cython.Build import cythonize
import os

compiler_directives = {
    'language_level': 3,
    'optimize.use_switch': True,
    'profile': True,
}

setup(
    packages=["XXXXXX"],
    ext_modules=cythonize(
        module_list="**/*.pyx",
        compiler_directives=compiler_directives,
    )
)

在开发中,我使用pyximport。为了区分两种情况,我要测试"生产"用户正在项目的顶级__init__.py文件中使用。如果这不是生产,我使用pyximport; pyximport.install,以便它变得完全透明:

if getpass.getuser != PRODUCTION_USER_NAME:
    import pyximport
    pyximport.install(
        pyximport=True,
        pyimport=False,
        build_dir=None,
        build_in_temp=True,
        setup_args={},
        reload_support=False,
        load_py_module_on_import_failure=False,
        inplace=False,
        language_level=3,
    )

我希望在开发环境中启用所有cython文件的分析。我已尝试将profile=True参数添加到piximport.install语句中,但它不起作用。

我该怎么办?

其他一些评论:

  • 我希望在开发过程中避免在所有源代码中推送Profile=True并在提交之前将其删除...

  • 使用.pyxbld文件对我来说不是一个选项,因为我有46个pyx文件,并计划有更多... ...除非有一种方法只设置一个文件来支持所有pyx就像我为构建脚本所做的那样,但我没有找到。

感谢您的帮助。

2 个答案:

答案 0 :(得分:2)

它需要包装pyximport的一个内部函数,但这可以完成:

# Allow .pyx files to be seamlessly integrated via cython/pyximport with
# default compiler directives.
import functools
import pyximport.pyximport

# Hack pyximport to have default options for profiling and embedding signatures
# in docstrings.
# Anytime pyximport needs to build a file, it ends up calling
# pyximport.pyximport.get_distutils_extension.  This function returns an object
# which has a cython_directives attribute that may be set to a dictionary of
# compiler directives for cython.
_old_get_distutils_extension = pyximport.pyximport.get_distutils_extension
@functools.wraps(_old_get_distutils_extension)
def _get_distutils_extension_new(*args, **kwargs):
    extension_mod, setup_args = _old_get_distutils_extension(*args, **kwargs)

    if not hasattr(extension_mod, 'cython_directives'):
        extension_mod.cython_directives = {}
    extension_mod.cython_directives.setdefault('embedsignature', True)
    extension_mod.cython_directives.setdefault('profile', True)
    return extension_mod, setup_args
pyximport.pyximport.get_distutils_extension = _get_distutils_extension_new
pyximport.install()

请注意,这不会强制使用新选项重新编译未更改的模块;您必须touch这些文件才能使用新配置触发编译。

答案 1 :(得分:2)

这是一种显然没有文档传递指令的方法:

pyximport.install(setup_args={
    'options': {
        'build_ext': {
            'cython_directives': {
                'language_level': 3,
                'optimize.use_switch': True,
                'profile': True,
            }
        }
    }
})

我在Cython / Distutils / build_ext.py中找到了cython_directives名称。