我是并行处理的新手,这是我的问题:
我有一个大数据变量,无法在RAM中输入两次。因此,这不会起作用:
for ind=1:4
data{ind}=load_data(ind);
end
parfor ind=1:4
process_longtime(data{ind});
end
因为内存溢出。我的假设是,Matlab尝试将整个data
变量复制到每个工作者。
如果这是正确的 - 有没有办法将data
分发到4个(或n
)部分给工人,那么他们不需要访问整个data
变量?