Spark Graphx是否具有像Gephi这样的可视化

Question

嗨，我是图世界的新手。我已经被分配到图形处理工作，现在我知道Apache Spark因此想到使用它来处理大图。然后我遇到了Gephi提供了很好的GUI来操作图形。 Graphx是否有这样的工具或主要是并行图处理库。我可以将来自Gephi的json图形数据导入graphx吗？请指导。我知道这是一个基本但有效的问题。提前致谢。

Answer 1

除此之外，您还可以尝试使用Graphlab https://dato.com/products/create/open_source.html

它直接支持Spark RDD https://dato.com/learn/userguide/data_formats_and_sources/spark_integration.html

之后不需要太多工作

from pyspark import SparkContext
import graphlab as gl

sc = SparkContext('yarn-client')

t = sc.textFile("hdfs://some/large/file")
sf = gl.SFrame.from_rdd(t)

# do stuff...

out_rdd = sf.to_rdd(sc)

Answer 2

如果您不熟悉图形世界，可以使用Apache Zeppelin作为Spark，但Apache Zeppelin是孵化器项目。

Answer 3

不，Apache Spark Graphx没有可视化，它只是一个处理引擎，但您可以使用Gephi的API将数据从gephi导入到graphx。