SparkSQL设置UDAF的inputSchema类型适合所有数据类型

时间:2017-07-13 07:01:31

标签: apache-spark-sql

我尝试编写一个UDAF函数来计算列的空率(列中有多少项目为NULL)。所以从理论上讲,我们不需要关心列的类型(无论是DoubleType还是IntegerType或其他类型),只要它是NULL或NOT NULL。

所以我编写了如下代码:

{
  "id": "id-of-role",
  "principalId": "objectId-of-user",
  "resourceId": "objectId-of-service-principal"
}

我的问题是,我的代码将输入类型限制为DataType(第二行),而我想将它扩展为任何类型(因为计算NULL率并不关心它实际是什么类型)。

我试图设置DoubleType - > DataType,但DataType似乎不是正确的方法,因为DataType是一个抽象类。

0 个答案:

没有答案