快速写入替代

Question

我需要计算numpy ndarray矩阵中的非NaN元素的数量。如何在Python中有效地做到这一点？以下是我实现此目的的简单代码：

import numpy as np

def numberOfNonNans(data):
    count = 0
    for i in data:
        if not np.isnan(i):
            count += 1
    return count

numpy中是否有内置函数？效率很重要，因为我正在进行大数据分析。

Thnx任何帮助！

Answer 1

np.count_nonzero(~np.isnan(data))

~反转从np.isnan返回的布尔矩阵。

np.count_nonzero计算的值不是0 \ false。 .sum应该给出相同的结果。但也许更清楚地使用count_nonzero

测试速度：

In [23]: data = np.random.random((10000,10000))

In [24]: data[[np.random.random_integers(0,10000, 100)],:][:, [np.random.random_integers(0,99, 100)]] = np.nan

In [25]: %timeit data.size - np.count_nonzero(np.isnan(data))
1 loops, best of 3: 309 ms per loop

In [26]: %timeit np.count_nonzero(~np.isnan(data))
1 loops, best of 3: 345 ms per loop

In [27]: %timeit data.size - np.isnan(data).sum()
1 loops, best of 3: 339 ms per loop

data.size - np.count_nonzero(np.isnan(data))似乎在这里几乎不是最快的。其他数据可能会给出不同的相对速度结果

Answer 2

快速写入替代

即使不是最快的选择，如果性能不是问题，您可以使用：

sum(~np.isnan(data))。

性能：

In [7]: %timeit data.size - np.count_nonzero(np.isnan(data))
10 loops, best of 3: 67.5 ms per loop

In [8]: %timeit sum(~np.isnan(data))
10 loops, best of 3: 154 ms per loop

In [9]: %timeit np.sum(~np.isnan(data))
10 loops, best of 3: 140 ms per loop

Answer 3

另一种选择，但稍微慢一点的做法是通过索引进行。

public static ulong Add(this ulong baseValue, long offset)
{
    decimal adjustedValue = (decimal)baseValue + offset;
    if (adjustedValue > ulong.MaxValue) throw new ArgumentOutOfRangeException("Too big to fit!");
    if (adjustedValue < ulong.MinValue) throw new ArgumentOutOfRangeException("Too small to fit!");
    return (ulong)adjustedValue;
}

np.isnan(data)[np.isnan(data) == False].size In [30]: %timeit np.isnan(data)[np.isnan(data) == False].size 1 loops, best of 3: 498 ms per loop和np.isnan(data)运算符的双重使用可能有点矫枉过正，因此我只是为了完整性而发布了答案。

Answer 4

要确定数组是否稀疏，可能有助于获得一定比例的nan值

np.isnan(ndarr).sum() / ndarr.size

如果该比例超过阈值，则使用稀疏数组，例如 -https://sparse.pydata.org/en/latest/

在Python中计算numpy ndarray中非NaN元素的数量

4 个答案:

快速写入替代

性能：