Scala：如何在循环中组合数据帧

Question

我想在递归方法中结合数据框。

我在递归方法中进行一些计算并过滤数据并存储在一个变量中。在第二次迭代中，我将进行一些计算，然后我将数据存储在同一个变量中。当我第二次调用方法时，我的第一个结果消失了。理想的是我必须将结果存储在一个临时变量中，我需要做所有结果的并集，直到递归方法完成其执行。

df中的迭代1输出：

Col1   
    14      
    35    

df中的迭代2输出：

Col1
    18      
    20

现在我需要最终输出为

Col1
    14
    35
    18
    20

代码：

def myRecursiveMethod(first: List[List[String]],
                        Inputcolumnsdummy: List[List[String]],
                        secondInputcolumns: List[List[String]] = {

  val ongoingResult = doSomeCalculation(first,Inputcolumnsdummy, secondInputcolumns)
}

我希望我的代码应该是下面的代码，

def myRecursiveMethod(first: List[List[String]],
                        Inputcolumnsdummy: List[List[String]],
                        secondInputcolumns: List[List[String]]) = {

    val ongoingResult = doSomeCalculation(first, Inputcolumnsdummy, secondInputcolumns)
    Val temp = temp.union(ongoingResult)
}

Answer 1

您应该尝试：使用union，如下所示：df1.union(df2)或df1.union(computation(df2,...))。

以下示例：

def doCompute(df: DataFrame): DataFrame = {
    val tmp: DataFrame = ... // TODO: call to your computation method
    tmp.show()
    df.union(tmp)
}

val df1: DataFrame = ...
val df2: DataFrame = ...
val df3: DataFrame = ...

var union_df: DataFrame = df1.union(doCompute(df2)).union(doCompute(df3))

我在你的问题中没有理解的一件事是你的函数myRecursiveMethod是如何递归的？根据定义，递归函数会调用自身。不确定你的问题是否真的很清楚。