用boost.python交换numpy数组:pyublas或boost.numpy?

时间:2013-12-04 12:56:27

标签: c++ python boost numpy

我正在通过py++ / boost.python将C ++数据密集库与Python连接起来。在对我的程序进行概要分析后,我发现70%的运行时间花费在这样的代码上:

ni = range(v2o.getHits())
tau = np.array([v2o.TofCorrectedTime[i] for i in ni])
q = [v2o.getCharge()[i] for i in ni]

v2o.TofCorrectedTime从py ++中键入__array_1_float_2368。 v2o.getCharge()也是来自py ++的_impl_details_range_iterator_。大小约为2000,从这些py ++数组包装器到numpy的转换很慢:

In [42]: timeit np.array(v2o.TofCorrectedTime)
100 loops, best of 3: 2.52 ms per loop

In [43]: timeit np.array(v2o.getCharge())
100 loops, best of 3: 4.94 ms per loop

In [44]: timeit np.array([0]*2368)
1000 loops, best of 3: 310 µs per loop

In [45]: timeit np.array(np.zeros(2368))
100000 loops, best of 3: 4.41 µs per loop

我在网上搜索了一个解决方案。候选人是:

  1. Cythonmemoryview
  2. pyublas
  3. Boost.NumPy
  4. 问题与解答(更新):

    • cython / memoryview是否易于与boost.python和py ++集成?我想保留库包装的其余部分。

      没有。 (吉姆的回答)

      cython c ++ wrapper和boost.python具有内在不同的基础架构。他们很难相互交谈。 (虽然原则上我们可以教py ++输出cython代码。但这是另一个故事。)

      使用Boost.NumPy扩展当前包装是最易于管理的方式。

    • 在转换开销方面,哪个最适合我的问题?

      (尚无确定答案。)

    由于

1 个答案:

答案 0 :(得分:5)

(免责声明:我是Boost.NumPy的主要作者。)

我担心这些选项都不是特别棒。以下是我认为pro / con分析的结果:

  • Cython拥有大量用户和开发人员,因此如果您选择该选项,您将获得更多支持。但是,它根本没有与Boost.Python集成,我认为使Cython对象与Boost.Python交流是一项巨大的工作,更不用说Py ++了。你可能需要非常了解Cython和Boost.Python的低级实现细节才能实现这一目标。如果你想使用Cython,你可能最好不要废弃你的Py ++ / Boost.Python包装。

  • Boost.NumPy拥有一个更小的社区,因此支持资源更加有限,但它更适合您已有的代码。 Py ++对Boost.NumPy一无所知,因此它不会自动生成使用它的代码(可能是你可以教Py ++关于Boost.NumPy;我对Py ++不太熟悉),但它非常简单将自定义Boost.Python代码(以及Boost.NumPy代码)添加到Py ++项目中。