我最近从Apache Spark 1.6.3迁移到了2.2.0版,并且某些功能发生了一些问题
在SPARK 1.6.3中,我就是这样
代码在JAVA中
List<String[]> list_id_fk = dfHBaseTemp.toJavaRDD().map(l -> {
String[] arrayListFK = {"", ""};
arrayListFK[0] = l.getAs("ID_KEY");
arrayListFK[1] = l.getAs("ID_TW");
//System.out.println(arrayListFK[0] +" "+ arrayListFK[1]);
return arrayListFK;
}).collect();
.getAs("ID_KEY")
;在2.2.0版中不是有效的方法!
现在应该在SPAKR 2.2.0中做什么?
谢谢!