如何将大数据写入xls文件?

时间:2013-02-07 14:56:26

标签: python excel hdf5

我有一个非常大的数据库,我想写入 xlsx / xls 文件。我已经尝试使用 xlwt ,但它只允许写入65536行(我的一些表有超过72k行)。我还发现 openpyxl ,但它运行得太慢,并且对大型电子表格使用了大量内存。还有其他可能编写excel文件吗?

编辑: 按照kennym的建议,我使用了Optimized Reader and Writer。它现在耗费的内存较少,但仍然耗费时间。导出现在需要超过一小时(对于非常大的表 - 最多10 ^ 6行)。还有其他可能性吗?也许可以将整个表从 HDF5数据库文件导出到 excel ,而不是一行一行 - 就像它现在在我的码?

3 个答案:

答案 0 :(得分:3)

在常量内存模式下尝试使用XlsxWriter

对于 .xls 文件,我担心没有内存优化方式。你找到了吗?

答案 1 :(得分:2)

使用openpyxl包的Optimized Reader and Writer。与标准的openpyxl方法相比,优化的读写器运行速度更快,使用的内存更少。

答案 2 :(得分:1)

XlsxWriter为我工作。我尝试openpyxl,但它错了。 22k * 400 r * c