Question

我有一个名为work3的数据集，我试图根据'clean_name'列删除重复的行。以下是有关work3的信息：

work3.info()

输出：

<class 'pandas.core.frame.DataFrame'>
Int64Index: 3295520 entries, 0 to 3330947
Data columns (total 4 columns):
id            int64
name          object
address       object
clean_name    object
dtypes: int64(1), object(3)
memory usage: 276.7+ MB

当我尝试drop_duplicates时，它会给我带来一个ValueError：

work3.drop_duplicates(['clean_name'])

输出：

ValueError: Wrong number of items passed 2117463, placement implies 3295520

现在，如果我尝试对其进行采样，但是使frac = 1，则获取整个数据集，然后检查信息：

test = work3.sample(frac=1)
test.info()

输出：

<class 'pandas.core.frame.DataFrame'>
Int64Index: 3295520 entries, 419298 to 978722
Data columns (total 4 columns):
id            int64
name          object
address       object
clean_name    object
dtypes: int64(1), object(3)
memory usage: 125.7+ MB

..内存使用率约为一半！ 125.7+ MB而不是276.7+ MB。更重要的是，当我对它执行drop_duplicates函数时：

test.drop_duplicates(['clean_name'))

它给了我我想要的没有任何错误！我在这里错过了什么吗？

2117463 rows × 4 columns

总结一下，这是我的问题：

为什么内存使用量减少一半，即使它是完全相同的数据集？
为什么示例test.drop_duplicates（）在没有错误的情况下工作，但是原始数据集work 3给了我一个ValueError？

Answer 1

您可能有重复的索引。使用.sample时不会抛出此错误，因为您的数据框被重新编入索引。 Reindex第一：

work3.reset_index(drop=True).drop_duplicates(['clean_name'])

dataset.drop_duplicates（）给出了ValueError：传递的项目数量错误，但是样本（frac = 1）没有

1 个答案: