在dask.distributed和LSF集群之间进行链接

时间:2018-01-12 12:49:43

标签: parallel-processing lsf dask-distributed

我正在使用IBM的LSF平台并行运行我的代码。目前,这需要“手动”将代码分解为作业数组;而不是:

for i in range(100):
    x[i] = f(i)

我分发f超过100名工作人员,然后“手动”将所有100个不同的结果收集到x

我试图理解dask.distributed是否可以用作我的模拟内核(在本例中是一个IPython内核)和LSF调度程序之间的“桥梁”,以便在一个方法中分配和收集计算自动化时尚。

我找不到任何关于此的文件......我们非常感谢任何帮助!

0 个答案:

没有答案