高效阅读> 500 MB xlsx到R和Python

时间:2019-04-27 08:21:10

标签: python r bigdata xlsx

RPython中,一切对我来说都很好。但是,我无法读取> 500 MB xlsx,其中三页分别放入RPython中。想知道将xlsx更大的R读入PythonudpSocket->writeDatagram(datagram, QHostAddress::Broadcast, 45454); 的有效方法是什么。谢谢

2 个答案:

答案 0 :(得分:1)

我不确定这是否可以解决您的问题,但是您可以尝试使用openpyxl优化模式。 openpyxl

答案 1 :(得分:1)

尝试使用软件包xlsxopenxlsx

这应该是读取数据的最快方法。

xlsx::read.xlsx2("myfile.xlsx", sheetName = "Sheet1") 

避免内存问题的最好方法就是不使用这种数据格式。 R中最有效的数据格式是压缩格式,例如.Rdata.RDS

saveRDS(file, "myfile.RDS")

大小和速度上会有巨大差异:-)