在apache giraph中读取边缘列表数据集？

Question

我正在使用SNAP数据集进行社交网络分析。 SNAP使用简单的边缘列表作为数据格式。如何在Apache Giraph中阅读SNAP数据集？

Answer 1

据我所知，SNAP有各种数据格式，具体取决于您正在查看的数据集。如果您正在查看的数据集在每行上都具有格式：sourceid destinationid，那么您可能希望使用IntNullTextEdgeInputFormat（它位于giraph-core/src/main/java/org/apache/giraph/io/formats中）。

另请查看同一文件夹中提供的各种预定义格式。如果这些都不适合您的数据集格式，那么您可以编写自己的输入格式类（如果您从预定义格式开始并根据需要进行编辑，那将非常简单）。

Answer 2

使用-eif org.apache.giraph.io.formats.IntNullTextEdgeInputFormat

Answer 3

是的，SNAP使用简单边缘列表格式来表示图形数据库。您可以使用此code将其转换为Apache Giraph接受的JSON格式。