我正在使用BatchJobs
包。我有一个data.table
列表,我试图迭代并提交作业。但是,我收到以下错误消息:
batchMap(reg, function(dtb) dtb[,roll_reg(.SD),by=gvkey], dtb_input_list)
Error: serialization is too large to store in a raw vector
每个data.table
大约有7,000行和6列。我似乎无法理解为什么这个序列化太大了。每次搜索都会出现2 ^ 31 - 1的数字作为限制。这是一个例子:
require(BatchJobs)
reg <- makeRegistry(id="myreg", file.dir="myreg")
test_list = lapply(1:10, function(i) data.frame(a=rep(i,10000)))
batchMap(reg, function(dtb) nrow(dtb), test_list)
Error: serialization is too large to store in a raw vector
编辑:等待更多调查。这似乎是一个错误,使用相同的确切数据。试图了解其他环境变量正在发生变化。