Question

我是这里的新手，所以如有任何错误，请原谅。我正在尝试处理成人普查数据集。我发现很难删除数据集中的问号。

链接到数据集：-https://archive.ics.uci.edu/ml/machine-learning-databases/adult/adult.data

我还尝试了给定链接中的第一个答案：-Drop rows with a 'question mark' value in any column in a pandas dataframe

但是我遇到了错误

~/anaconda3/lib/python3.6/site-packages/pandas/core/ops.py in wrapper(self, other, axis)
   1251 
   1252             with np.errstate(all='ignore'):
-> 1253                 res = na_op(values, other)
   1254             if is_scalar(res):
   1255                 raise TypeError('Could not compare {typ} type with Series'

~/anaconda3/lib/python3.6/site-packages/pandas/core/ops.py in na_op(x, y)
   1164                     result = method(y)
   1165                 if result is NotImplemented:
-> 1166                     raise TypeError("invalid type comparison")
   1167             else:
   1168                 result = op(x, y)

TypeError: invalid type comparison

请告诉我如何解决此问题。我正在使用Python 3.6

谢谢！

编辑1：-这也称为人口普查收入数据集。

Answer 1

首先转换为字符串，然后按boolean indexing进行过滤：

df = df[(df.astype(str) != '?').all(axis=1)]
#alternative solution
#df = df[~(df.astype(str) == '?').any(axis=1)]
print (df)
   X  Y  Z
1  1  2  3
3  4  4  4

或比较numpy数组：

df = df[(df.values != '?').all(axis=1)]

详细信息：

将所有转换后的字符串按astype进行比较，并将更改条件更改为!=：

print (df.astype(str) != '?')
       X      Y      Z
0   True   True  False
1   True   True   True
2  False  False   True
3   True   True   True
4  False   True   True

然后检查每行是否有all True个值：

print ((df.astype(str) != '?').all(axis=1))
0    False
1     True
2    False
3     True
4    False
dtype: bool

如果包含问号Python 3，则删除数据帧中的行

1 个答案: