用python中的中位数替换值

时间:2016-10-07 13:43:58

标签: python numpy replace median imputation

lat
50.63757782
50.6375742
50.6375742
50.6374077762
50.63757782
50.6374077762
50.63757782
50.63757782

我已经绘制了具有这些纬度值的图形,并注意到图形中突然出现峰值(异常值)。我想用最后三个值的中位数替换每个lat值,以便我可以看到有意义的结果

输出可能是

lat               lat_med
50.63757782 50.63757782
50.6375742  50.6375742
50.6375742  50.6375742
50.63740778 50.6375742
50.63757782 50.6375742
50.63740778 50.6375742
50.63757782 50.6375742
50.63757782 50.6375742

我有数千个这样的lat值,需要使用for循环来解决这个问题。我知道以下代码有错误,因为我是python的初学者,感谢您帮助解决这个问题。

for i in range(0,len(df['lat'])):
    df['lat_med'][i]=numpy.median(numpy.array(df['lat'][i],df['lat'][i-2]))

我刚刚意识到三点的中位数计算不符合我的目的,我需要考虑五个值。有没有办法改变中值函数多少我想要的值。谢谢你的帮助

def median(a, b, c):
    if a > b and a > c:
        return b if b > c else c

    if a < b and a < c:
        return b if b < c else c

    return a

2 个答案:

答案 0 :(得分:0)

只要想到第二个到第二个到最后一个元素,然后将中间值保存在前一个和下一个元素之外。请注意,第一个和最后一个元素保持不变。

试试这个:

lat = [50.63757782, 50.6375742, 50.6375742, 50.6374077762, 50.63757782, 50.6374077762, 50.63757782, 50.63757782]

# returns median value out of the three values
def median(a, b, c):
    if a > b and a > c:
        return b if b > c else c

    if a < b and a < c:
        return b if b < c else c

    return a


# add the first element
filtered = [lat[0]]

for i in range(1, len(lat) - 1):
    filtered += [median(lat[i - 1], lat[i], lat[i + 1])]

# add the last element
filtered += [lat[-1]]

print(filtered)

您正在做的是一个非常基本的Median filter

答案 1 :(得分:0)

您好像正在使用"sig3"&#39; pandas结构,所以:

Dataframe

结果:

import pandas as pd
import numpy as np

df = pd.DataFrame({'lat' : [50.63757782,
                            50.6375742,
                            50.6375742,
                            50.6374077762,
                            50.63757782,
                            50.6374077762,
                            50.63757782,
                            50.63757782]})

def replace_values_with_medians(array):
    last = array.shape[0]-2
    index = 0
    result = np.zeros(last)
    while index < last:
        result[index] = np.median(array[index:index+3])
        index += 1
    return result

lat_med_df = pd.DataFrame({'lat_med':replace_values_with_medians(df['lat'])})
df = pd.concat([df,lat_med_df], axis = 1)
del lat_med_df