并行化Python中的子图任务

时间:2017-08-13 04:40:14

标签: python parallel-processing multiprocessing networkx ipython-parallel

这可能是一个天真的问题,但我确实尝试过搜索多个资源:multiprocessingipyparallel但这些似乎缺乏适合我任务的适当信息。

我所拥有的是一个包含900万条边和600万个节点的大型有向图G。我的目标是,对于目标节点列表( 50k ,以及它们的直接邻居(进/出),从G中提取子图。我目前正在使用{{1}这样做。

我尝试使用networkx但是我找不到关于如何跨处理器共享对象(在我的情况下,ipyparallel)以获得子图功能的教程。有没有一种简单的方法可以在不同的cpu核心上并行化(有56个可用,所以我真的想充分利用它)?

谢谢!

1 个答案:

答案 0 :(得分:0)

尝试将G视为一个数据库 - 所以它将由所有子流程共享 - 他们将能够从中获取信息并做他们需要的事情