Question

我有一个程序可以重复加载以R的Rds格式存储的大型数据集。这是一个具有所有显着特征的愚蠢示例：

# make and save the data
big_data <- matrix(rnorm(1e6^2), 1e6)
saveRDS(big_data, file = "big_data.Rds")

# write a program that uses the data
big_data <- readRDS("big_data.Rds")
BIGGER_data <- big_data+rnorm(1)
print("hooray!")
# save this in a text file called `my_program.R`

# run this program a bunch
for (i = 1:1000){
    system("Rscript my_program.R")
}

瓶颈正在加载数据。但是，如果我在某个单独的进程中将数据保存在内存中怎么办？

也许是这样的：

# write a program to hold the data in memory
big_data <- readRDS("big_data.Rds")
# save this as `holder.R`  open a terminal and do
Rscript holder.R

现在有一个进程正在某处运行，我的数据已存储在内存中。我如何从另一个R会话中获得它？（我假设这比加载它要快-但这对吗？）

也许是这样的：

# write another program:
big_data <- get_big_data_from_holder()
BIGGER_data <- big_data+1
print("yahoo!")
# save this as `my_improved_program.R`

# now do the following:
for (i = 1:1000){
    system("Rscript my_improved_program.R")
}

所以我想我的问题是 get_big_data_from_holder()函数是什么样的？是否有可能做到这一点？实际的？

背景故事：我正在尝试解决我已经描述过here的R到keras / tensorflow界面中的内存泄漏。解决方法是让操作系统清理从TF会话中遗留下来的所有碎片，以便我可以一个接一个地运行TF会话，而不会让我的计算机慢下来。

编辑：也许我可以通过clone()系统调用来做到这一点？从概念上讲，我可以想象我会克隆运行holder的进程，然后运行程序中依赖于所加载数据的所有命令。但是我不知道该怎么办。

Answer 1

您还可以通过关闭压缩来提高保存和加载数据的性能：

saveRDS(..., compress = FALSE)

Answer 2

您可能会发现我的udemy1.make4u.eu软件包对于存储和快速访问大型矩阵很有用。

要创建它，请运行：

filematrix

要从另一个R会话访问它，

big_data = matrix(rnorm(1e4^2), 1e4)

library(filematrix)
fm = fm.create.from.matrix('matrix_file', big_data)
close(fm)

有没有办法在Linux上将R对象转移到单独的R会话？

2 个答案: