在Java Spark中使用'for'循环创建多个数据框

时间:2019-02-12 23:12:34

标签: java apache-spark apache-spark-sql

我正在尝试使用初始数据帧(df0)的列创建新的数据帧。

我试图创建一个字符串数组以将其用于数据集名称,但是没有用。

String [] column = ds.columns();
String [] dsName = new String[10];
int max=ds.schema().length();
for (i=0; i<max; i++) {
        Dataset<Row> dsName[i]=null;
        for (j=0; j<max && j!=i; j++) {
            for (k=0; k<max && k!=i && k!=i; k++) {
                            dsName[i]= ds.select(ds.col(column[i]),
                                                ds.col(column[j]),
                                                ds.col(column[k]));

                       }
               }
}

(初始df0和3 dfs df1i)的预期结果:

df11 = df0.select(df0.col("1"),df0.col("2"));
df12 = df0.select(df0.col("1"),df0.col("3"));
df13 = df0.select(df0.col("1"),df0.col("4"));

0 个答案:

没有答案