Giraph可以将以前作业中的图形重新用于后续作业吗？

Question

我有大约百万个节点和十亿边缘，Giraph也将图形保留在内存中，以便它可以再次用于后续作业，或者它是否可以加载和放大。在＆amp;之前存储完整的图表分别在每份工作之后？

Answer 1

你对后续工作意味着什么？当您启动图算法（例如最短路径）时，Giraph会将基础图加载到内存中并保持它直到计算完成（所有超级步骤完成）。如果启用了检查指向，Giraph会在某些超级步骤（取决于配置）结束时存储所有顶点的当前状态，以实现容错目的。计算完成后，结果存储在HDFS（或其他类似Hbase）中，Java进程终止。没有任何合理的理由让Giraph将图形保留在内存中以用于后续的图算法。