Pandas read_csv可以加载的行数是否有限制？

Question

我正在尝试使用Pandas read_csv方法加载.csv文件，该文件有29872046行，总大小为2.2G。 我注意到，对于大量的列，大多数加载的行都会错过它们的值。从shell浏览时的csv文件包含这些值... 加载的文件有任何限制吗？如果没有，怎么可以调试？ 感谢

Answer 1

@ d1337，

我想知道你是否有记忆问题。有一个这个here.

的提示

可能this相关或this。

如果我试图调试它，我会做一件简单的事情。将文件减半 - 会发生什么？如果可以的话，如果没有下降50％，则上涨50％，直到能够确定其发生的点。您甚至可能希望从20行开始，并确保它与大小相关。

我还会将操作系统和内存信息以及你正在使用的Pandas版本添加到你的帖子中以防其相关（我正在运行Pandas 11.0，Python 3.2，Linux Mint x64和16G内存所以我会期待没有问题，比如说）。此外，您可能会发布一个指向您数据的链接，以便其他人可以对其进行测试。

希望有所帮助。