Spark RDD沿袭图表示

Question

我想知道是否有办法使用提供的信息 spark api RDD.toDebugString()的功能更加结构化，因此它可以用于自动获取图形表示，例如使用graphviz。

似乎有一些活动围绕着这个： https://issues.apache.org/jira/browse/SPARK-1015

但我希望将toDebugString()的信息转换为结构化格式， 然后决定使用哪种图表格式进行表示。

Answer 1

toDebugString()在内部迭代RDD的递归结构，构建可显示的字符串。

不要让toDebugString()返回更结构化的输出，而是阅读其内部实现（依赖于结构化数据），并修改它以适合您的方式保存数据。

您不必等待JIRA上的任何问题，只需DIY：）

Answer 2

使用默认在4040端口上运行的spark UI可以看到更详细和格式化的可视化表示。 这是截图显示所有细节：