首先,如果在其他地方回答过我,我深表歉意。我所能找到的只是有关替换给定值的元素的问题,而不是有关多个值的元素的问题。
我有数千个大型np.array,就像这样:
# generate dummy data
input_array = np.zeros((100,100))
input_array[0:10,0:10] = 1
input_array[20:56, 21:43] = 5
input_array[34:43, 70:89] = 8
在这些数组中,我想根据字典替换值:
mapping = {1:2, 5:3, 8:6}
这时,我正在使用一个简单的循环,并结合了华丽的索引编制:
output_array = np.zeros_like(input_array)
for key in mapping:
output_array[input_array==key] = mapping[key]
我的数组的尺寸是2000到2000年,字典有大约1000个条目,因此,这些循环要花很长时间。
是否有一个函数,该函数仅采用字典(或类似形式)形式的数组和映射并输出更改后的值?
非常感谢您的帮助!
我使用
在Ipython中测试了各个解决方案 %%timeit -r 10 -n 10
import numpy as np
np.random.seed(123)
sources = range(100)
outs = [a for a in range(100)]
np.random.shuffle(outs)
mapping = {sources[a]:outs[a] for a in(range(len(sources)))}
对于每种解决方案:
np.random.seed(123)
input_array = np.random.randint(0,100, (1000,1000))
%%timeit -r 10 -n 10
k = np.array(list(mapping.keys()))
v = np.array(list(mapping.values()))
mapping_ar = np.zeros(k.max()+1,dtype=v.dtype) #k,v from approach #1
mapping_ar[k] = v
out = mapping_ar[input_array]
5.01 ms ± 641 µs per loop (mean ± std. dev. of 10 runs, 10 loops each)
%%timeit -r 10 -n 10
k = np.array(list(mapping.keys()))
v = np.array(list(mapping.values()))
sidx = k.argsort() #k,v from approach #1
k = k[sidx]
v = v[sidx]
idx = np.searchsorted(k,input_array.ravel()).reshape(input_array.shape)
idx[idx==len(k)] = 0
mask = k[idx] == input_array
out = np.where(mask, v[idx], 0)
56.9 ms ± 609 µs per loop (mean ± std. dev. of 10 runs, 10 loops each)
%%timeit -r 10 -n 10
k = np.array(list(mapping.keys()))
v = np.array(list(mapping.values()))
out = np.zeros_like(input_array)
for key,val in zip(k,v):
out[input_array==key] = val
113 ms ± 6.2 ms per loop (mean ± std. dev. of 10 runs, 10 loops each)
%%timeit -r 10 -n 10
output_array = npi.remap(input_array.flatten(), list(mapping.keys()), list(mapping.values())).reshape(input_array.shape)
143 ms ± 4.47 ms per loop (mean ± std. dev. of 10 runs, 10 loops each)
%%timeit -r 10 -n 10
keys, choices = list(zip(*mapping.items()))
# [(1, 5, 8), (2, 3, 6)]
conds = np.array(keys)[:,None,None] == input_array
np.select(conds, choices)
157 ms ± 5 ms per loop (mean ± std. dev. of 10 runs, 10 loops each)
%%timeit -r 10 -n 10
output_array = np.zeros_like(input_array)
for key in mapping:
output_array[input_array==key] = mapping[key]
187 ms ± 6.44 ms per loop (mean ± std. dev. of 10 runs, 10 loops each)
感谢超级帮助!
答案 0 :(得分:1)
鉴于您使用的是numpy数组,建议您也使用numpy进行映射。这是使用np.select
的矢量化方法:
mapping = {1:2, 5:3, 8:6}
keys, choices = list(zip(*mapping.items()))
# [(1, 5, 8), (2, 3, 6)]
# we can use broadcasting to obtain a 3x100x100
# array to use as condlist
conds = np.array(keys)[:,None,None] == input_array
# use conds as arrays of conditions and the values
# as choices
np.select(conds, choices)
array([[2, 2, 2, ..., 0, 0, 0],
[2, 2, 2, ..., 0, 0, 0],
[2, 2, 2, ..., 0, 0, 0],
...,
[0, 0, 0, ..., 0, 0, 0],
[0, 0, 0, ..., 0, 0, 0],
[0, 0, 0, ..., 0, 0, 0]])
答案 1 :(得分:1)
方法1:使用数组数据循环播放
一种方法是提取数组中的键和值,然后使用类似的循环-
k = np.array(list(mapping.keys()))
v = np.array(list(mapping.values()))
out = np.zeros_like(input_array)
for key,val in zip(k,v):
out[input_array==key] = val
与原始数据相比,此数据的优势在于用于高效数据提取的数组数据的空间局部性,该变量在迭代中使用。
此外,由于您提到了thousand large np.arrays
。因此,如果mapping
字典保持不变,那么获取数组版本的步骤-k
和v
将是一次性设置过程。
方法2:使用searchsorted
矢量化矢量化方法
可以使用np.searchsorted
-
sidx = k.argsort() #k,v from approach #1
k = k[sidx]
v = v[sidx]
idx = np.searchsorted(k,input_array.ravel()).reshape(input_array.shape)
idx[idx==len(k)] = 0
mask = k[idx] == input_array
out = np.where(mask, v[idx], 0)
方法3:使用映射数组对整数键进行矢量化处理
可以使用整数数组的映射数组来建议使用矢量化的数组,当它由输入数组索引时,将直接导致最终输出-
mapping_ar = np.zeros(k.max()+1,dtype=v.dtype) #k,v from approach #1
mapping_ar[k] = v
out = mapping_ar[input_array]
答案 2 :(得分:1)
numpy_indexed库(免责声明:我是它的作者)提供了以有效的矢量化方式实现此操作的功能:
import numpy_indexed as npi
output_array = npi.remap(input_array.flatten(), list(mapping.keys()), list(mapping.values())).reshape(input_array.shape)
注意;我没有测试;但它应该遵循这些原则。对于大量输入和映射中的许多项,效率应该很好。我想象类似于divakars的方法2;速度不及他的方法3。但是此解决方案的目标更多是通用性;它也适用于非正整数的输入;甚至是nd数组(例如用其他颜色替换图像中的颜色等)。
答案 3 :(得分:0)
我认为Divakar#3方法假定映射dict覆盖了目标数组中的所有值(或至少是最大值)。否则,为避免索引超出范围错误,您必须替换该行
mapping_ar = np.zeros(k.max()+1,dtype=v.dtype)
与
mapping_ar = np.zeros(array.max()+1,dtype=v.dtype)
这会增加可观的开销。