如何有效保存和加载大列表

时间:2018-07-31 17:53:11

标签: r list save bigdata

免责声明 : 你们中的许多人都指出了重复的帖子,我已经知道了,但是我认为这不是一个公平的重复,因为某些保存/加载方式对于数据框和列表可能有所不同。例如,软件包fstfeather在数据帧上有效,但在列表上无效。

我的问题仅针对列表

我有一个约5000万个元素列表,我想将其保存到文件中以在不同的R会话之间共享。

我知道保存R的本机方法(savesave.imagesaveRDS)。我的观点是:您是否还会在大型数据上使用这些功能?

保存并读回的最快方法是什么? (任何R可读格式都可以)。

1 个答案:

答案 0 :(得分:0)

经过一些研究,看来基本saveRDS函数没有真正的替代方法,处理大型列表的软件包也不多。

使用列表fstfeather将列表另存为data.table / data.frame的列无效,它正常工作< / strong>和软件包data.table。但是,当将其读回时,它将成为强制使用strsplit或其最快替代方法str_split的角色。

我可以找到的唯一直接关注列表的软件包是rlist,但是与基本功能saveRDS,{{相比,它不能加快列表从文件中读写文件的速度。 1}}。

基准:

readRDS