如何选择包含大于阈值的值的所有行？

Question

请求很简单：我想选择包含大于阈值的值的所有行。

如果我这样做：

df[(df > threshold)]

我得到这些行，但低于该阈值的值只是NaN。如何避免选择这些行？

Answer 1

绝对不需要双转置 - 您只需在布尔矩阵上的列索引（提供1或'columns'）上调用any即可。

df[(df > threshold).any(1)]

示例

>>> df = pd.DataFrame(np.random.randint(0, 100, 50).reshape(5, 10))

>>> df

    0   1   2   3   4   5   6   7   8   9
0  45  53  89  63  62  96  29  56  42   6
1   0  74  41  97  45  46  38  39   0  49
2  37   2  55  68  16  14  93  14  71  84
3  67  45  79  75  27  94  46  43   7  40
4  61  65  73  60  67  83  32  77  33  96

>>> df[(df > 95).any(1)]

    0   1   2   3   4   5   6   7   8   9
0  45  53  89  63  62  96  29  56  42   6
1   0  74  41  97  45  46  38  39   0  49
4  61  65  73  60  67  83  32  77  33  96

转换为您的自我答案确实只是一个不必要的性能打击。

df = pd.DataFrame(np.random.randint(0, 100, 10**8).reshape(10**4, 10**4))

# standard way
%timeit df[(df > 95).any(1)]
1 loop, best of 3: 8.48 s per loop

# transposing
%timeit df[df.T[(df.T > 95)].any()]
1 loop, best of 3: 13 s per loop

Answer 2

这实际上非常简单：

df[df.T[(df.T > 0.33)].any()]