使用Java将函数应用于Apache Spark中数据集的单个列

Question

说我有一个数据集：

Dataset<Row> sqlDF = this.spark.sql("SELECT first_name, last_name, age from persons";

这将返回包含三列的Dataset：名字，姓氏，年龄。

我想应用一个在age列上加5并返回一个新数据集的函数，该数据集与原始数据集具有相同的列，但是更改了年龄值：

public int add_age(int old_age){
     return old_age + 5;
}

如何在Java上使用Apache Spark做到这一点？

Answer 1

我通过构造一个StructType并添加了三列，然后将它们映射到新构造的行，并使用age将函数应用于行列RowFactory来解决了这个问题：

    StructType customStructType = new StructType();

    customStructType = customStructType.add("first_name", DataTypes.StringType, true);
    customStructType = customStructType.add("last_name", DataTypes.StringType, true);
    customStructType = customStructType.add("age", DataTypes.IntegerType, true);

    ExpressionEncoder<Row> customTypeEncoder = null;
    Dataset<Row> changed_data = sqlDF.map(row->{
          return RowFactory.create(row.get(0),row.get(1), add_age(row.get(2)));
            }, RowEncoder.apply(customStructType));