我尝试使用spark 2.0.0和Java 1.8创建一个空的Dataframe。然后我想要附加一个模式。在此之后,我想插入带有SQL插入语句的内容。
SparkSession sparkSession = SparkSession
.builder()
.getOrCreate();
Dataset<Row> emptyDataset = null;
try {
//This part is still working:
emptyDataset = sparkSession.emptyDataFrame();
//This part has no effect at all:
emptyDataset.schema().add("id", DataTypes.IntType)
.add("date", DataTypes.DateType)
.add("type", DataTypes.StringType);
} catch(Exception e) {
System.out.println("Nope");
}
System.out.println("Schema:");
emptyDataset.printSchema();
我得到了这个,但没有架构:
Schema:
root
任何想法,或者有什么不对? THX!