getAs()-将Apache Spark 1.6.3迁移到Apache Spark 2.2.0

时间:2018-06-29 19:37:59

标签: java apache-spark migration apache-spark-2.0

我最近从Apache Spark 1.6.3迁移到了2.2.0版,并且某些功能发生了一些问题

在SPARK 1.6.3中,我就是这样

代码在JAVA中

    List<String[]> list_id_fk = dfHBaseTemp.toJavaRDD().map(l -> {
            String[] arrayListFK = {"", ""};
            arrayListFK[0] = l.getAs("ID_KEY");
            arrayListFK[1] = l.getAs("ID_TW");
            //System.out.println(arrayListFK[0] +" "+ arrayListFK[1]);
            return arrayListFK;
        }).collect();

.getAs("ID_KEY");在2.2.0版中不是有效的方法!

现在应该在SPAKR 2.2.0中做什么?

谢谢!

0 个答案:

没有答案