计算平均值和标准偏差,而忽略0值

时间:2020-05-15 23:31:59

标签: python list mean standard-deviation sublist

我有一个带有子列表的列表列表,所有子列表都包含浮点值。 例如,下面的一个有2个列表,每个列表都有子列表:

 mylist =  [[[2.67, 2.67, 0.0, 0.0], [2.67, 2.67, 2.0, 2.0], [2.67, 2.67, 2.0, 2.0], [2.67, 2.67, 2.0, 2.0], [2.67, 2.67, 2.0, 2.0], [2.67, 2.67, 2.0, 2.0], [0.0, 2.67, 2.0, 2.0], [2.67, 2.67, 2.0, 2.0], [2.67, 2.67, 2.0, 2.0], [2.67, 2.67, 2.0, 2.0]], [[2.67, 2.67, 2.0, 2.0], [0.0, 2.67, 2.0, 2.0], [2.67, 2.67, 2.0, 2.0], [2.67, 2.67, 2.0, 2.0], [2.67, 2.67, 2.0, 2.0], [0.0, 0.0, 0.0, 0.0], [2.67, 2.67, 2.0, 2.0], [2.67, 2.67, 2.0, 2.0], [2.67, 2.67, 2.0, 2.0], [2.67, 2.67, 2.0, 2.0], [2.67, 2.67, 2.0, 2.0], [2.67, 2.67, 2.0, 2.0], [2.67, 2.67, 2.0, 2.0], [2.67, 2.67, 2.0, 2.0]]]

我要计算子列表的标准差和均值,而我应用的是:

mean = [statistics.mean(d) for d in mylist]
stdev = [statistics.stdev(d) for d in mylist]

但是它也使用了我不想要的0.0值,因为我将它们设为0以免成为空值。因为子列表中不存在这些0,有没有办法忽略它们?我找不到方法。

4 个答案:

答案 0 :(得分:2)

您可以使用numpy的nanmeannanstd函数。

import numpy as np


def zero_to_nan(d):
    array = np.array(d)
    array[array == 0] = np.NaN
    return array


mean = [np.nanmean(zero_to_nan(d)) for d in mylist]
stdev = [np.nanstd(zero_to_nan(d)) for d in mylist]

答案 1 :(得分:2)

您可以使用list comprehension进行此操作。

以下lambda函数将nested列表展平为单个列表并滤除所有零:

flatten = lambda nested: [x for sublist in nested for x in sublist if x != 0]

请注意,列表推导具有两个for和一个if语句,与该代码段相似,其功能基本相同:

flat_list = []

for sublist in nested:
   for x in sublist:
       if x != 0:
           flat_list.append(x)

要将其应用于您的列表,可以使用mapmap函数将返回迭代器。要获取列表,我们需要将迭代器传递给list

flat_list = list(map(flatten, myList))

现在您可以计算平均值和标准偏差:

mean = [statistics.mean(d) for d in flat]
stdev = [statistics.stdev(d) for d in flat]

print(mean)
print(stdev)

答案 2 :(得分:1)

mean = [statistics.mean(d) for d in mylist if d != 0]
stdev = [statistics.stdev(d) for d in mylist if d != 0]

答案 3 :(得分:0)

尝试:

mean = [statistics.mean([k for k in d if k]) for d in mylist]
stdev = [statistics.stdev([k for k in d if k]) for d in mylist]