有没有办法在不使用映射的情况下迭代Spark RDD分区?

时间:2017-02-27 18:44:08

标签: apache-spark pyspark graphframes

我目前正在使用graphframes生成图表,然后我需要找到所有顶点之间的路径。 (即测试所有顶点对以找到它们之间的最小路径。)

bfs中的findgraphframes生成数据帧,这意味着它们无法用于任何类型的映射函数。有没有办法可以解决这个问题? (例如,对分区[mapPartitions中的所有RDD条目执行for循环不起作用,我试过了。])

0 个答案:

没有答案