Python中read_csv的内存错误

时间:2018-06-06 12:45:19

标签: python pandas csv memory

当我尝试读取csv文件时,我在Python中面临dtype警告。我检查了类似的问题,为dtype提供的值没有帮助,它给出了相同的警告和内存错误。我正在使用Fannie Mae性能数据集,找到混合类型的列是空值或一年的格式为mm / yyyy。首先我把它们放在str,然后是对象,但没有这些帮助。可能是文件太大(443,15MB)而我的电脑无法处理它?我有2 GHz的核心2双核处理器和3 Gb RAM内存。

以下是解决问题的代码

using System.Linq;

var hashSet = BlockedList.ToHashSet();

这是警告:

  

DtypeWarning:列(15,16)具有混合类型。指定dtype选项   在导入或设置low_memory = False。

data=pd.read_csv(os.path.join(settings.DATA_DIR,f),header=None,names=HEADERS[prefix],sep='|',index_col=False, dtype={"zero_balance_date": str, "last_paid_installment_date": object, "foreclosure_date": object}) 也不起作用。

0 个答案:

没有答案