从String创建spark数据集(在Java中)

时间:2017-12-23 00:18:40

标签: java apache-spark spark-dataframe apache-spark-dataset

使用createDataset(List<T>, Encoders.bean(T.class));我们可以创建一个数据集,如下所示

// POJO
class Header implements Serializable{
   String columnName;
   // Getters and Setters defined
}
.............

// Spark code 

Header h = new Header()
h.setColumnName("XYZ");
SQLContext sqlC = ss.sqlContext();    
Dataset<Header> ds = sqlC.createDataset(Collections.singletonList(h), Encoders.bean(Header.class));

但是,我无法从字符串中创建数据集,如下所示

String header = "XYZ";
SQLContext sqlC = ss.sqlContext();    
Dataset<String> ds = sqlC.createDataset(Collections.singletonList(header), Encoders.STRING());

那么,有没有办法直接从String创建数据集?

0 个答案:

没有答案