尝试导入巨大的CSV文件时Python导入错误

Question

我是python的新手。我试图使用read_csv方法将csv文件导入python。

数据集有大约500列和100 K行。

我的努力是徒劳的，我得到了记忆错误。我试图将文件分成多个块，但我仍面临同样的问题。

我的系统上存在内存问题吗？ python是否有限制导入如此庞大的列数？快速解决方案？

Answer 1

http://lethain.com/handling-very-large-csv-and-xml-files-in-python/

＆＃34;使用将所有内容视为流的代码＆＃34;

这可能有助于澄清您对CSV中的数据做了什么，因为这将决定您的内存问题的解决方案。