将Spark数据集中的列强制转换为自定义UDT

时间:2017-07-20 07:52:16

标签: java scala apache-spark casting apache-spark-dataset

假设我有一个UDT,定义为DataTypes.ErrorType。 Error是一个包含String变量的类。现在我想做

error

当我尝试执行以下错误后,我得到:无法解决&#39; CAST(class ErrorType extends UserDataTypes<Error>{... overridden methods} @SQLUserDefinedType(udt = ErrorType.class) class Error implements Serializable{ private String name; //Getter and Setters //Constructors } AS STRUCT - if (intval($_GET['lbAngka']) <= 100) - STRING - )&#39;由于数据类型不匹配,无法将StringType强制转换为ErrorType。

Bellow是ErrorType的详细信息:

 ERROR in ./src/app/index.js
 Module parse failed: /var/www/reactjsbasics/src/app/index.js Unexpected token (8:3)
 You may need an appropriate loader to handle this file type.

是否可以将列转换为我指定的UDT。 (Java首选,Scala也会这样做。)。

0 个答案:

没有答案