Question

我有一个1维数据集，其中一些没有数据值设置为9999.这是一个很长的摘录：

this_array = [   4,    4,    1, 9999, 9999, 9999,   -5,   -4, ... ]

我想将无数据值替换为两边最接近的值的平均值，但是由于有些数据值没有最接近的值，因此没有数据值，替换它们有点困难。即我希望三个没有数据值被-2替换。我创建了一个循环来遍历数组中的每个标量并测试没有数据：

for k in this_array:
    if k == 9999:
        temp = np.where(k == 9999, (abs(this_array[k-1]-this_array[k+1])/2), this_array[k])
    else:
        pass
this_array[k] = temp

但是我需要添加一个if函数或方法来获取k-1之前或k + 1之后的值，如果它也等于9999，例如：

if np.logical_or(k+1 == 9999, k-1 == 9999):
    temp = np.where(k == 9999, (abs(this_array[k-2]-this_array[k+2])/2), this_array[k])

正如可以看出的那样，这段代码变得混乱，因为最终可能会错误地获取错误的值，或者最后加载嵌套的if函数。有没有人知道一种更简洁的方法来实现它，因为它在整个数据集中变化很大？

根据要求：如果第一个和/或最后一个点不是数据，则最好用最近的数据点替换它们。

Answer 1

使用numpy函数可能有更好的方法来执行此操作，但这是使用itertools module的解决方案：

from itertools import groupby

for k, g in groupby(range(len(this_array)), lambda i: this_array[i] == 9999):
    if k:
        indices = list(g)
        new_v = (this_array[indices[0]-1] + this_array[indices[-1]+1]) / 2
        this_array[indices[0]:indices[-1]+1].fill(new_v)

如果最后一个元素或第一个元素可以是9999，则使用以下内容：

from itertools import groupby

for k, g in groupby(range(len(this_array)), lambda i: this_array[i] == 9999):
    if k:
        indices = list(g)
        prev_i, next_i = indices[0]-1, indices[-1]+1
        before = this_array[prev_i] if prev_i != -1 else this_array[next_i]
        after = this_array[next_i] if next_i != len(this_array) else before
        this_array[indices[0]:next_i].fill((before + after) / 2)

使用第二版的示例：

>>> from itertools import groupby
>>> this_array = np.array([9999, 4, 1, 9999, 9999, 9999, -5, -4, 9999])
>>> for k, g in groupby(range(len(this_array)), lambda i: this_array[i] == 9999):
...     if k:
...         indices = list(g)
...         prev_i, next_i = indices[0]-1, indices[-1]+1
...         before = this_array[prev_i] if prev_i != -1 else this_array[next_i]
...         after = this_array[next_i] if next_i != len(this_array) else before
...         this_array[indices[0]:next_i].fill((before + after) / 2)
...
>>> this_array
array([ 4,  4,  1, -2, -2, -2, -5, -4, -4])

Answer 2

我会按照以下几点做点什么：

import numpy as np

def fill(arr, fwd_fill):
  out = arr.copy()
  if fwd_fill:
    start, end, step = 0, len(out), 1
  else:
    start, end, step = len(out)-1, -1, -1
  cur = out[start]
  for i in range(start, end, step):
    if np.isnan(out[i]):
      out[i] = cur
    else:
      cur = out[i]
  return out

def avg(arr):
  fwd = fill(arr, True)
  back = fill(arr, False)
  return (fwd[:-2] + back[2:]) / 2.

arr = np.array([   4,    4,    1, np.nan, np.nan, np.nan,   -5,   -4])
print arr
print avg(arr)

第一个函数可以进行向前或向后填充，用最近的非NaN替换每个NaN。

一旦你有了这个，计算平均值是微不足道的，并由第二个函数完成。

你没有说你希望如何处理第一个和最后一个元素，所以代码只是把它们砍掉了。

最后，值得注意的是，如果缺少输入数组的第一个或最后一个元素，该函数可以返回NaN（在这种情况下，没有数据可以计算某些平均值）。

Answer 3

好吧，我恐怕我必须自己编写，你可以使用np.interp中的scipy.interpolate或等效（可能更好，功能更强大）的scipy函数。

好的，重读......我猜你不想要线性插值？在这种情况下，当然这不太有用......虽然我确信有一些矢量化方法。

imort numpy as np
# data is the given array.
data = data.astype(float) # I cast to float, if you don't want that badly...
valid = data != 9999
x = np.nonzero(valid)[0]
replace = np.nonzero(~valid)[0]
valid_data = data[x]

# using np.interp, but I think you will find better things in scipy.interpolate
# if you don't mind using scipy.
data[replace] = np.interp(replace, x, valid_data,
                                   left=valid_data[0], right=valid_data[-1])

Python：替换数组中的值

3 个答案: