Question

我有一个存储65536 uint8值的查找表（LUT）：

lut = np.random.randint(256, size=(65536,)).astype('uint8')

我想使用此LUT转换uint16 s：

数组中的值

arr = np.random.randint(65536, size=(1000, 1000)).astype('uint16')

我想要进行转换，因为最后一个数组可能会变得非常大。当我尝试时，会发生以下情况：

>>> np.take(lut, arr, out=arr)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "C:\Python27\lib\site-packages\numpy\core\fromnumeric.py", line 103, in take
    return take(indices, axis, out, mode)
TypeError: array cannot be safely cast to required type

我不明白发生了什么。我知道，如果没有out参数，则返回与lut具有相同的dtype，因此uint8。但为什么uint8无法投放到uint16？如果你问numpy：

>>> np.can_cast('uint8', 'uint16')
True

显然以下工作：

>>> lut = lut.astype('uint16')
>>> np.take(lut, arr, out=arr)
array([[173, 251, 218, ..., 110,  98, 235],
       [200, 231,  91, ..., 158, 100,  88],
       [ 13, 227, 223, ...,  94,  56,  36],
       ..., 
       [ 28, 198,  80, ...,  60,  87, 118],
       [156,  46, 118, ..., 212, 198, 218],
       [203,  97, 245, ...,   3, 191, 173]], dtype=uint16)

但这也有效：

>>> lut = lut.astype('int32')
>>> np.take(lut, arr, out=arr)
array([[ 78, 249, 148, ...,  77,  12, 167],
       [138,   5, 206, ...,  31,  43, 244],
       [ 29, 134, 131, ..., 100, 107,   1],
       ..., 
       [109, 166,  14, ...,  64,  95, 102],
       [152, 169, 102, ..., 240, 166, 148],
       [ 47,  14, 129, ..., 237,  11,  78]], dtype=uint16)

这真的没有意义，因为现在int32被投射到uint16，这绝对不是一件安全的事情：

>>> np.can_cast('int32', 'uint16')
False

如果我将lut的dtype设置为uint16，uint32，uint64，int32或int64中的任何内容，我的代码就有效，但uint8，int8和int16失败。

我是否遗漏了某些东西，或者这只是在numpy中被打破了？

也欢迎变通方法......由于LUT不是那么大，我想它的类型与数组匹配并不是那么糟糕，即使它占用了两倍的空间，但它只是感觉不对那样做......

有没有办法告诉numpy不担心铸造安全？

Answer 1

有趣的问题。 numpy.take(lut, ...)转换为lut.take(...)，其来源可在此处查看：

https://github.com/numpy/numpy/blob/master/numpy/core/src/multiarray/item_selection.c#L28

我认为异常被抛出at line 105：

obj = (PyArrayObject *)PyArray_FromArray(out, dtype, flags);
if (obj == NULL) {
    goto fail;
}

在您的情况下，out为arr但dtype是lut的{{1}}，即uint8。因此它会尝试将arr转换为uint8，但失败了。我不得不说我不确定为什么它需要这样做，只是指出它确实...出于某种原因take似乎假设你想要作为输出数组具有相同的{{1} } dtype。

顺便说一句，在很多情况下，对lut的调用实际上会创建一个新数组，并且替换将不会到位。例如if you call take with mode='raise'（默认情况下，以及示例中发生的情况）或PyArray_FromArray时就是这种情况。好吧，至少它应该，而我无法解释为什么，当你将lut.dtype != arr.dtype转换为lut时，输出数组仍为int32！这对我来说是个谜 - 也许它与NPY_ARRAY_UPDATEIFCOPY旗帜有关（另见here）。

底线：

numpy的行为确实难以理解......也许其他人会提供一些有关它为什么会这样做的见解
我不会尝试处理uint16 - 似乎在大多数情况下都会在引擎盖下创建一个新阵列。我只是选择了arr - 顺便说一句，它最终将释放arr = lut.take(arr)之前使用过的一半内存。

使用numpy.take键入转换错误

1 个答案: