Question

我正在尝试过滤DataFrame中的行。我必须过滤掉总和为0的所有rows以及其值的5％或更多等于0的所有rows。

DataFrame为50000 rows x 120 columns。我设法将所有filter rows sum设为import pandas as pd df = pd.read_csv("file. a = df[df.sum(axis=1) > 0] gene1 0.000000 0.000000 4108.683105 41.675945 0.000000 gene2 2650.009521 3437.226807 20.767439 0.000000 902.217712，而不是将其值的5％或更多等于0的那些{。}}。

list

Answer 1

您可以使用.mask()过滤掉非零值：

masked = df.mask(df!=0)

如果您然后.count(axis=1)，则每个row获得非零值的计数，并且可以通过将结果与boolean index进行比较从这些值中获取column count。

使用以下示例数据：

df = pd.DataFrame(np.random.randint(low=0, high=10, size=(100, 50)))
df_colcount = float(len(df.columns))
df['zero_count'] = df.mask(df!=0).count(axis=1)
df['zero_share'] = df.mask(df!=0).count(axis=1).div(df_colcount)

从这里您可以过滤所需的行：

df[df.zero_share < 0.05]

    0  1  2  3  4  5  6  7  8  9     ...      42  43  44  45  46  47  48  49  \
0   4  0  3  1  6  4  5  8  8  9     ...       4   7   9   4   5   9   4   5   
8   7  1  2  1  5  2  4  4  5  7     ...       5   6   3   3   3   4   9   4   
19  6  6  2  9  2  4  9  8  6  1     ...       2   6   5   9   4   9   7   5   
23  7  8  4  1  4  5  6  5  5  5     ...       3   8   9   8   5   5   5   3   
53  3  7  9  5  0  2  3  3  3  1     ...       5   4   7   1   2   7   7   1   
70  7  9  6  4  4  8  6  3  1  3     ...       1   1   1   9   1   3   1   5   
77  4  4  2  4  2  9  8  2  6  8     ...       8   8   7   8   2   3   5   9   
85  5  7  0  4  6  2  6  5  7  8     ...       9   8   6   6   2   4   5   5   
98  9  9  6  6  4  7  9  1  6  4     ...       4   6   1   2   4   1   8   1   

    zero_count  zero_share  
0            2        0.04  
8            1        0.02  
19           2        0.04  
23           2        0.04  
53           2        0.04  
70           1        0.02  
77           2        0.04  
85           2        0.04  
98           1        0.02

您当然可以一步完成所有这些：

df[df.mask(df!=0).count(axis=1).div(float(len(df.columns))) < 0.05]

或者，你确实可以应用一个掩码来识别rows具有.mask(df==0)的非零值，然后只保留那些超过95％的值。这些是获得相同结果的等效方法。

按行和值过滤

1 个答案: