这可能是一个天真的问题,但我确实尝试过搜索多个资源:multiprocessing
和ipyparallel
但这些似乎缺乏适合我任务的适当信息。
我所拥有的是一个包含900万条边和600万个节点的大型有向图G
。我的目标是,对于目标节点列表( 50k ,以及它们的直接邻居(进/出),从G
中提取子图。我目前正在使用{{1}这样做。
我尝试使用networkx
但是我找不到关于如何跨处理器共享对象(在我的情况下,ipyparallel
)以获得子图功能的教程。有没有一种简单的方法可以在不同的cpu核心上并行化(有56个可用,所以我真的想充分利用它)?
谢谢!
答案 0 :(得分:0)
尝试将G
视为一个数据库 - 所以它将由所有子流程共享 - 他们将能够从中获取信息并做他们需要的事情