如何在Spark中使用编码器(structType)返回Dataset <Row>中的json数据?

时间:2019-10-14 17:12:49

标签: apache-spark spark-structured-streaming

我试图在DataSet中返回所需的参数。每当返回数据到行时都无法使用struct Type编码数据,如果假设正在使用Map/JSONObject,则抛出Map/jsonobject it not a valid External schema,下面的代码我尝试过吗?任何帮助将不胜感激,谢谢

DataSet<Row>//
Row rowdat=RowFactory.create(jsondata)
Return rowdat.iterator();

//Dataset data will be **** [[{"employees:"accountant","firstname":"walter", "age":"54"}]]


StructType schema = DataTypes.createStructType(new StructField[] {
            DataTypes.createStructField("employees",  DataTypes.StringType, true),
            DataTypes.createStructField("firstname", DataTypes.StringType, true),
            DataTypes.createStructField("age", DataTypes.StringType, true)

    });

ExpressionEncoder express=RowCoder.apply(schema)

0 个答案:

没有答案