将增量列附加到spark java中的空数据框

时间:2016-11-08 07:22:22

标签: java apache-spark dataset spark-dataframe

我有一个空的数据帧df2。我为它创建了一个模式。字符串列和自动增量列,用于与其他数据帧连接。

    {
    JavaRDD<Row> rdd2=null;

   rdd2=df2.javaRDD().zipWithUniqueId().map(new Function<Tuple2<Row,Long>, Row>() {


               @Override

                public Row call(Tuple2<Row, Long> v1) throws Exception {
                    Long v2=v1._2.longValue()+1L;       
                     return RowFactory.create(v2, v1._1().getString(0));
                }
        });

            List<StructField> structFields = new ArrayList<StructField>();
            StructField structField1 = DataTypes.createStructField("id", DataTypes.LongType, false);
            StructField structField2 = DataTypes.createStructField("Description", DataTypes.StringType, true);
            structFields.add(structField1);
            structFields.add(structField2);
            StructType schema = DataTypes.createStructType(structFields);
            DataSet<Row> df4=objSql.createDataFrame(rdd2, schema);
            df4.show();

我变得像这样

+ --- + ----------- + | ID |说明| + - + ----------- + + --- + ----------- +

我需要为id列增加值1。请一些人帮帮我

0 个答案:

没有答案