用于熊猫DataFrame的networkX距离矩阵生成器

Question

我通过osmnx下载了图形，我想获取所有节点之间的距离。 我打电话给nx.all_pairs_dijkstra_path_length(G, weight='length')，它返回dicts的 generator 。然后将其存储到DataFrame中，然后存储到.csv

如何处理巨大图（斯德哥尔摩，DC，巴黎等）？

我这样做了，达到了阿姆斯特丹的规模：

G = ox.graph_from_place('Amsterdam, Netherlands', network_type='drive')
skim_generator = nx.all_pairs_dijkstra_path_length(inData.G,weight='length') # this is generator of dicts
skim_dict = dict(inData.skim_generator) 
skim = pd.DataFrame(inData.skim_dict).fillna(_params.dist_threshold).T.astype(int) 
skim.to_csv(_params.paths.skim, chunksize=20000)

但是，现在它已经用更大的网络破坏了我的RAM。因此，我尝试对其进行调整并使其适合内存，但是它却非常缓慢，如何改善它？

    ret = dict()
    first = True
    j=0
    for i in nx.all_pairs_dijkstra_path_length(_inData.G, weight='length'):
        ret[i[0]]=dict(i[1])
        j+=1
        if divmod(j,chunk)[1]==0:  
            print(j,_inData.nodes.shape[0])
            df = pd.DataFrame(ret).reindex(_inData.nodes.index).fillna(999999).astype(int)
            df.T.to_csv(path, mode = 'w' if first else 'a', header = first)
            first = False
            ret = dict()