我正在使用带有chunksize集的pandas read_csv打开一个非常大的csv块，因为csv太大而无法放入内存中。我正在对每个块执行转换。然后我想将转换后的df块附加到另一个现有（和非常大）的csv。
我遇到了内存不足的错误。 pandas to_csv（mode =＆＃39; a＆＃39;，header = False）是否会打开csv以附加新块？换句话说，to_csv（）是否导致我的内存错误？
答案 0 :(得分：1)
我曾多次遇到同样的问题。您可能尝试的是将数据块导出到几个csv（没有标题），然后将它们与非pandas函数连接（例如，在从不同的csv读取的文本文件上写新行）