我需要从csv文件中读取数据,并根据显式架构对其进行验证,如果架构验证失败,则会引发错误。 为此,我做了以下工作: 1)定义了模式
public static StructField[] schema ={
new StructField("name", DataTypes.StringType, false, Metadata.empty()),
new StructField("type_id",DataTypes.StringType, false, Metadata.empty())
};
2)根据架构验证数据
StructType schemaType =new StructType(Myschema.schema);
Dataset<Row> df =session.read().schema(schemaType).option("header", "true").csv(csvInput);
df.printSchema();
我的问题是