Question

所以我正在尝试进行一些插值，我只是想知道我使用的代码是否有可能变得更有效率。

所以问题是这样的。我有一个值数组，其中包含来自许多不同站点的数据。它的尺寸为N x 85，N可能会因世界各地而异。

截至目前，它们之间的时间间隔还不均匀。 0:51列之间的时间间隔为3小时，然后52:84列之间的时间间隔为6小时。我只想在它们之间进行简单的线性插值以使所有行之间的间隔为3小时，所以基本上只是计算52:84行之间的均值并将它们插入正确的位置

这是一个小规模示例的快速代码示例，这是我目前正在执行的操作，但是效率不高（我想避免使用insert函数）。

import numpy as np
np.set_printoptions(linewidth=np.nan)

array = np.random.rand(5, 10) * 10
print(array)

interpolation_array = np.empty((5, 4))

for i, j in enumerate(list(range(5, 9))):
    interpolation_array[:, i] = np.mean(array[:, j:(j+2)], axis=1)
print(interpolation_array)

# This is the line that is not memory efficient
final_array = np.insert(array, list(range(6, 10)), interpolation_array, axis=1)

print(final_array)

Answer 1

因此，正如@hpaulj所建议的那样，我使用Numba（LLVM编译器比Numpy更快）实现了一个实现，该实现创建了一个大矩阵以将所有值写入其中，然后使用并行循环填充它并进行简单处理。线性插值。这是我使用的代码。

import numpy as np
from numba import jit, prange

@jit(nopython=True)
def numba_approach(array, c_start):  # c_start is column to start interpolating in (zero indexed)
    num_rows = array.shape[0]
    num_cols = array.shape[1]
    num_interp_columns = num_cols - 1 - c_start

    final_array = np.empty((num_rows, num_cols + num_interp_columns))

    # Populate the Portion That is not interpolated
    for i in prange(num_rows):
        for j in range(c_start + 1):
            final_array[i, j] = array[i, j]

    z = 1
    for j in prange(c_start + 2, num_cols + num_interp_columns, 2):
        for i in range(num_rows):
            final_array[i, j] = array[i, j - z]
        z += 1

    # Interpolate
    for j in prange(c_start + 1, num_cols + num_interp_columns - 1, 2):
        for i in range(num_rows):
            final_array[i, j] = (final_array[i, j - 1] + final_array[i, j + 1]) / 2

    return final_array

这给了我大约4倍的加速，这是相当有意义的，因为这部分代码经常运行。

基准：

%timeit numpy_approach(test_array)

100 loops, best of 3: 2.16 ms per loop

%timeit numba_approach(test_array, 47)

1000 loops, best of 3: 446 µs per loop

Answer 2

我认为正确的方法是使用适当的线性插值，例如numpy.interp。每个值的对应时间必须明确定义。这允许将值之间的任何时间间隔归纳。

import numpy as np
import matplotlib.pylab as plt

times = [0, 3, 6, 9, 12, 18, 24, 30, 36]
values = np.random.rand(len(times))

times_regular = np.arange(0, times[-1]+1, 3)

values_regular = np.interp(times_regular, times, values)

plt.plot(times_regular, values_regular, 's', label='evently spaced');
plt.plot(times, values, 'd-', label='measure');
plt.xlabel('time'); plt.ylabel('value'); plt.legend();

基于数组的解决方案，因为只需要中点，所以可以是：

data_every6hr = np.array([[7, 5, 6, 9, 8, 5],
                          [7, 9, 6, 5, 6, 9],
                          [5, 6, 7, 9, 8, 8],
                          [5, 9, 8, 5, 7, 6]], dtype=float)

# Perform the interpolation for every line
intermediate_values = (data_every6hr[:, 1:] + data_every6hr[:, :-1])/2

# Insert the interpolated values before each column:
data_every3hr = np.insert(data_every6hr,
                          range(1, data_every6hr.shape[1]),
                          intermediate_values,
                          axis=1)

print(data_every3hr)
#array([[7. , 6. , 5. , 5.5, 6. , 7.5, 9. , 8.5, 8. , 6.5, 5. ],
#       [7. , 8. , 9. , 7.5, 6. , 5.5, 5. , 5.5, 6. , 7.5, 9. ],
#       [5. , 5.5, 6. , 6.5, 7. , 8. , 9. , 8.5, 8. , 8. , 8. ],
#       [5. , 7. , 9. , 8.5, 8. , 6.5, 5. , 6. , 7. , 6.5, 6. ]])

data_every6hr只是输入数组中数据间隔6小时的部分。

在不使用插入的情况下插值Numpy数组

2 个答案: