Question

我的问题扩展了这里看到的代码响应：Interpolating a 3d array in Python. How to avoid for loops?。相关的原始解决方案代码如下：

import numpy as np
from scipy.interpolate import interp1d
array = np.random.randint(0, 9, size=(100, 100, 100))
x = np.linspace(0, 100, 100)
x_new = np.linspace(0, 100, 1000)
new_array = interp1d(x, array, axis=0)(x_new)
new_array.shape # -> (1000, 100, 100)

当x_new是一个常数1-d数组时，上面的方法效果很好但是如果我的x_new 不是一个常数1-d数组，而是取决于纬度/经度维度的索引在另一个三维数组中。我的x_new大小为355x195x192（时间x纬度x长），现在我正在通过纬度和经度维度进行双循环。由于每个纬度/经度对的x_new不同，如何避免循环，如下所示？不幸的是，我的循环过程需要几个小时......

x_new=(np.argsort(np.argsort(modell, 0), 0).astype(float) + 1) / np.size(modell, 0)
## x_new is shape 355x195x192
## pobs is shape 355x1
## prism_aligned_tmax_sorted  is shape 355x195x192
interp_func = interpolate.interp1d(pobs, prism_aligned_tmax_sorted,axis=0)
tmaxmod = np.empty((355, 195, 192,))
tmaxmod[:] = np.NAN                                    
for latt in range(0, 195):
    for lonn in range(0, 192):
        temp = interp_func(x_new[:,latt,lonn])
        tmaxmod[:,latt,lonn] = temp[:,latt,lonn]

感谢您提供的所有帮助！

Answer 1

我知道如何摆脱这些循环，但你不会喜欢它。

问题在于interp1d的这种使用基本上为你提供了在1d域上插值的矩阵值函数，即F(x)函数，其中每个标量x你有2d - 阵形F。您尝试进行的插值就是这样：为每个(lat,lon)对你创建一个单独的插值器。这更像是F_(lat,lon)(x)。

这是一个问题的原因是，对于您的用例，您要为每个查询点计算矩阵值F(x)，然后继续丢弃除单个之外的所有矩阵元素一个（对应于该对的查询点的元素[lat,lon]）。所以你正在做一堆不必要的计算来计算所有那些不相关的函数值。问题是我不确定是否有更有效的方法。

您的用例可以通过背后适当的内存来修复。您的循环运行了几个小时的事实表明这对您的用例实际上是不可能的，但无论如何我将展示此解决方案。我们的想法是将您的3d数组转换为2d数组，使用此形状进行插值，然后沿着插值结果的有效2d子空间取对角元素。您仍将为每个查询点计算每个不相关的矩阵元素，但不是循环遍历数组，您将能够通过单个索引步骤提取相关的矩阵元素。这样做的代价是创建一个更大的辅助阵列，这很可能不适合你的可用内存。

无论如何，这是诀窍，将你当前的方法与一个方法进行比较：

import numpy as np
from scipy.interpolate import interp1d
arr = np.random.randint(0, 9, size=(3, 4, 5))
x = np.linspace(0, 10, 3)
x_new = np.random.rand(6,4,5)*10

## x is shape 3 
## arr is shape  3x4x5
## x_new is shape  6x4x5

# original, loopy approach
interp_func = interp1d(x, arr, axis=0)
res = np.empty((6, 4, 5))
for lat in range(res.shape[1]):
    for lon in range(res.shape[2]):
        temp = interp_func(x_new[:,lat,lon]) # shape (6,4,5) each iteration
        res[:,lat,lon] = temp[:,lat,lon]

# new, vectorized approach
arr2 = arr.reshape(arr.shape[0],-1) # shape (3,20)
interp_func2 = interp1d(x,arr2,axis=0)
x_new2 = x_new.reshape(x_new.shape[0],-1) # shape (6,20)
temp = interp_func2(x_new2) # shape (6,20,20): 20 larger than original!
s = x_new2.shape[1] # 20, used for fancy indexing ranges
res2 = temp[:,range(s),range(s)].reshape(res.shape) # shape (6,20) -> (6,4,5)

生成的res和res2数组完全相同，因此该方法可能有效。但正如我所说，对于形状为(nx,nlat,nlon)的查询数组，我们需要一个形状为(nx,nlat*nlon,nlat*nlon)的辅助数组，这通常会有巨大的内存需求。

我能想到的唯一严格的选择是逐个执行1d插值：在双循环中定义nlat*nlon插值器。这将产生更大的内插创建开销，但另一方面，你不会做一堆不必要的工作来计算内插的数组值然后丢弃。

最后，根据您的使用情况，您应该考虑使用多变量插值（我在考虑interpolate.interpnd或interpolate.griddata）。假设您的函数也是纬度和经度函数的平滑函数，那么在更高维度中插入完整数据集可能是有意义的。这样你就需要创建一次插补器，然后确切地查询你需要的点，而不会出现任何不必要的瑕疵。

如果您最终坚持使用当前的实现，则可以通过将插值轴移动到最后位置来大大提高性能。这样，每个向量化操作都作用于连续的内存块（假设默认的C内存顺序），这非常适合“1d数组的集合”理念。所以你应该按照

的方式做点什么

arr = arr.transpose(1,2,0) # shape (4,5,3)
interp_func = interp1d(x, arr, axis=-1)
...
for lat ...:
    for lon ...:
        res[lat,lon,:] = temp[lat,lon,:] # shape (4,5,6)

如果您需要恢复原始订单，最后可以使用res.transpose(2,0,1)转换订单。

在Python中扩展插入3d数组

1 个答案: