我正在使用IBM的LSF平台并行运行我的代码。目前,这需要“手动”将代码分解为作业数组;而不是:
for i in range(100):
x[i] = f(i)
我分发f
超过100名工作人员,然后“手动”将所有100个不同的结果收集到x
。
我试图理解dask.distributed
是否可以用作我的模拟内核(在本例中是一个IPython内核)和LSF调度程序之间的“桥梁”,以便在一个方法中分配和收集计算自动化时尚。
我找不到任何关于此的文件......我们非常感谢任何帮助!