Python / Pandas - 从数据框中删除所有列> 50%的行的值为0

时间:2017-10-01 12:31:30

标签: python pandas

我正在使用Python&大熊猫。我想从我的数据框中删除每一列,其中超过50%的行在该特定列中具有值0。

以下是一个例子:

import pandas as pd

# defining a dataframe
data = [['Alex',10, 173, 0, 4000],['Bob',12, 0, 0, 4000], ['Clarke',13, 0, 0, 0]]
# naming the columns
df = pd.DataFrame(data,columns=['Name','Age', 'Height', 'Score', 'Income'])

# printing the dataframe
print(df)

Data Frame 1

我设法创建一个表格,显示每列有多少行的值为0和百分比。但我感觉我走错了路。有人可以帮忙吗?

# make a new dataframe and count the number of values = zero per column
zeroValues = df.eq(0).sum(axis=0)
zeroValues = zeroValues.to_frame()

# name the column
zeroValues.columns = ["# of zero values"]

# add a column that calculates the  percentage of values = zero
zeroValues["zeroValues %"] = ((zeroValues["# of zero values"] * 100) / 
len(df.index))

# print the result
print(zeroValues)

Data Frame 2

1 个答案:

答案 0 :(得分:2)

首先使用DataFrame.mean获取0值的百分比,然后使用loc进行过滤 - 需要所有值小于或等于0.5

zeroValues = df.eq(0).mean()
print (zeroValues)
Name      0.000000
Age       0.000000
Height    0.666667
Score     1.000000
Income    0.333333
dtype: float64

print (zeroValues <= 0.5)
Name       True
Age        True
Height    False
Score     False
Income     True
dtype: bool

df = df.loc[:, zeroValues <= 0.5]
print (df)
     Name  Age  Income
0    Alex   10    4000
1     Bob   12    4000
2  Clarke   13       0

一行解决方案:

df = df.loc[:, df.eq(0).mean().le(.5)]
print (df)
     Name  Age  Income
0    Alex   10    4000
1     Bob   12    4000
2  Clarke   13       0