Pandas数据帧无法加载超过1048571行

Question

我使用read_csv使用以下命令将csv文件加载到dataframe

df = pd.read_csv('2016sales data.csv',skiprows = 3)

然后，我检查了数据框的形状

df.shape

输出：

(1687530, 28)

但是当我运行此命令时

df.tail(5)

输出显示总共有5行，其最后一个索引为1048571。这是否意味着尽管1048571显示df.shape行，但只加载1687530行。

Answer 1

不确定它是否有效，但是当我处理非常大的数据帧时，在low_memory=False函数上设置kwarg read_csv会在大多数时间保存这一天。