在循环内处理Spark RDD

时间:2019-05-27 23:58:41

标签: scala apache-spark machine-learning spark-graphx

我的麻烦在于应用图算法。我正在适应它来激发火花。在火花代码中应用以下逻辑是正确的吗?

while(!inBag.isZero()) {
    val node_array = inBag.value().write_array()
    for(currentNode <- node_array) {
        val value_level = level.value
        set_level = levelSet.value

        val nodes_bag = graphParsed.triplets
                                   .filter(f=> f.srcId ==currentNode)
                                   .map(f => (f.srcId,f.dstId))
                                  \\ and so on
    }
}

我正在使用GraphX库。使用这种方法的处理非常慢。我不确定是否正确。很难翻译该算法。

0 个答案:

没有答案