Julia在多台机器上使用不同的数据

Question

我有一个大数据，我不能适应一台机器的内存。因此，我想将它们分成不同大小的子集，将每个子集放在不同的机器上（或直接在该机器上加载该子集），然后在每台机器上对它们执行相同的代码。主节点应该只收集数据。

这项任务可能适合SPARK，但我很好奇是否有一个框架可以让我在Julia中轻松做到这一点。