省略号广播在numpy.einsum

时间:2013-05-16 15:33:28

标签: python numpy ellipsis numpy-broadcasting numpy-einsum

我在理解为什么以下不起作用时遇到了问题:

我有一个可以是三维或六维的数组 prefactor 。 我有一个有四个维度的数组偶极子偶极子的前三个维度与 prefactor 的最后三个维度相匹配。

由于我不知道 prefactor 的形状,我使用省略号来解释 prefactor 中的三个可选维度:

numpy.einsum('...lmn,lmno->...o', prefactor, dipoles)

(在这里的示例中,prefactor.shape是(1,1,1,160,160,128),dipoles.shape是(160,160,128,3)。执行时,我得到错误:< / p>

操作数1没有足够的尺寸来匹配广播,并且无法扩展,因为在开头和结尾都指定了爱因斯坦和下标

但是,当我向第二个术语添加省略号时,它确实有效:

numpy.einsum('...lmn,...lmno->...o', prefactor, dipoles)

只是我不明白为什么,因为那里不需要省略号。有人知道这里发生了什么吗?

http://comments.gmane.org/gmane.comp.python.numeric.general/53705也提出了同样的问题,但目前还没有令人满意的答案。

1 个答案:

答案 0 :(得分:5)

这个问题有一个github问题:

https://github.com/numpy/numpy/issues/2455 einsum中索引表示法的改进(Trac#18​​62)

错误案例:

einsum('ij...,j->ij...',A,B)

当前的解决方法需要(空)省略号:

einsum( 'IJ ...,J ...-&GT; IJ ...',A,B)

看起来einsum遍历字符串参数和操作数次,识别索引和广播类型(右,左,中,无)和操作维度。有了它,它构造了一个numpy.nditer。在为op_axes引发此错误的编号构建einsum时。我不知道测试标准是否太紧(ibroadcast >= ndim),或者是否需要采取额外步骤为此参数构建正确的op_axes

https://github.com/numpy/numpy/issues/2619显示nditer如何用于复制einsum行为。通过这种方式,我可以复制你的计算:

prefactor = np.random.random((1, 1, 1, 160, 160, 128))
dipoles = np.random.random((160, 160, 128, 3))
x = numpy.einsum('...lmn,...lmno->...o', prefactor, dipoles)
#numpy.einsum('...lmn,lmno->...o', prefactor, dipoles)  # not work

op_axes = [[0,1,2,3,4,5,-1], [-1,-1,-1,0,1,2,3], [0,1,2,-1,-1,-1,3]]
flags = ['reduce_ok','buffered', 'external_loop', 'delay_bufalloc', 'grow_inner']
op_flags = [['readonly']]*nops + [['allocate','readwrite']]
it = np.nditer([prefactor,dipoles,None], flags, op_flags, op_axes=op_axes)
it.operands[nops][...] = 0
it.reset()
#it.debug_print()
for (x,y,w) in it:
    w[...] += x*y
print "\nnditer usage:"
print it.operands[nops] # == x
print it.operands[nops].shape # (1, 1, 1, 3)

op_axes行表示einsum'...lmn,...lmno->...o'推断的内容。


我正在https://github.com/hpaulj/numpy-einsum上探讨这个问题。

我有einsum_py.py使用Python代码模拟np.einsum。与此问题相关的部分是parse_subscripts(),特别是prepare_op_axes()。看起来只需要BROADCAST_RIGHT迭代(从结尾开始)来正确创建op_axes,无论下标中的省略号是什么。它还会删除此问题核心的错误消息。

该存储库上的einsum.c.src文件有此更改,并使用当前主分发正确编译(只需替换文件和构建)。它针对test_einsum.py进行了良好的测试,以及此问题的示例。

我已提交了此次更改的拉取请求。