R中的BatchJobs:序列化太大而无法存储在原始向量中

时间:2013-03-10 19:59:52

标签: r parallel-processing batch-processing lsf

我正在使用BatchJobs包。我有一个data.table列表,我试图迭代并提交作业。但是,我收到以下错误消息:

batchMap(reg, function(dtb) dtb[,roll_reg(.SD),by=gvkey], dtb_input_list)
Error: serialization is too large to store in a raw vector

每个data.table大约有7,000行和6列。我似乎无法理解为什么这个序列化太大了。每次搜索都会出现2 ^ 31 - 1的数字作为限制。这是一个例子:

require(BatchJobs)
reg <- makeRegistry(id="myreg", file.dir="myreg")
test_list = lapply(1:10, function(i) data.frame(a=rep(i,10000)))
batchMap(reg, function(dtb) nrow(dtb), test_list)
Error: serialization is too large to store in a raw vector

编辑:等待更多调查。这似乎是一个错误,使用相同的确切数据。试图了解其他环境变量正在发生变化。

0 个答案:

没有答案