熊猫列的列表理解结果:无法散列的类型:'dict'

时间:2018-10-04 22:05:34

标签: python pandas numpy dictionary list-comprehension

我已经下载了Kaggle Kernel作为Jupyter Notebook文件,试图在本地系统上运行。内核在Kaggle上运行良好。但是,当我尝试将其作为.ipynb文件运行时,以下行(在单元格4中)抛出错误:

cols_to_drop = [col for col in train_df.columns if train_df[col].nunique(dropna=False) == 1]

返回的错误是:

TypeError: unhashable type: 'dict'

基于此堆栈溢出question,我了解一个字典不能用作另一个字典中的键。但是,我很难确定哪一部分代码实际上代表了字典。

根据列表理解中此article的格式,我尝试了几种替代版本的代码。

new_list = [expression(i) for i in old_list if filter(i)]

但是,它们会产生相同的错误。

1 个答案:

答案 0 :(得分:2)

pd.Series.nunique在后台调用pd.Series.unique

def nunique(self, dropna=True):
    uniqs = self.unique()
    n = len(uniqs)
    if dropna and isna(uniqs).any():
        n -= 1
    return n

pd.Series.unique使用散列,就像Python内置的set一样:

  

基于哈希表的唯一身份,   因此无法排序。

train_df中的一个系列中的至少一个值包含一个字典。字典不可散列。因此,您将看到TypeError: unhashable type: 'dict'

要查看哪些系列包括哪些类型,可以使用字典理解:

type_dict = {col: set(map(type, train_df[col].values)) for col in train_df}

这是一个简单的例子:

df = pd.DataFrame({'A': [1, 'a', 'b', 4, {'some_dict': 3}], 'B': list(range(5))})
type_dict = {col: set(map(type, df[col].values)) for col in df}

print(type_dict)

{'A': {dict, int, str}, 'B': {numpy.int64}}

要使用nunique计算不重复项,则需要清除数据以确保数据框不包含不可散列的值。