如何使用Java将Spark数据集的所有列转换为字符串

Question

我有一个包含很多列的数据集，我想使用Java将所有列强制转换为字符串。

我尝试了以下步骤，我想知道是否有更好的方法来实现这一目标？

Dataset<Row> ds = ...;
JavaRDD<String[]> stringArrRDD = ds.javaRDD().map(row->{
          int length = row.length();
          String[] columns = new String[length];
          for(int i=0; i<length;i++){
              columns[i] = row.get(i) !=null? row.get(i).toString():"";
          }
       return  columns;});

Answer 1

您可以迭代columns：

for (String c: ds.columns()) {
    ds = ds.withColumn(c, ds.col(c).cast("string"));
}

Answer 2

如果只想使用对象：

import org.apache.spark.sql.types.*;
...
for (String c: ds.columns()) {
    ds = ds.withColumn(c, ds.col(c).cast(DataTypes.StringType));
}