Hive UDF,用于元组中的空值过滤器

时间:2019-07-08 07:39:58

标签: hive bigdata hiveql user-defined-functions hive-udf

我正在研究Datalake。我们有很多表,其中70%的列具有Null值。为了节省磁盘空间,我们尝试提供一个Hive UDF,该单元将相应表中的元组作为输入并返回映射作为输出。该映射将只包含对于特定元组非空的列的键值对。

map<String,Array<String>> output

在输出Map中,我们希望捕获列名作为键,并捕获值数组,数据类型作为值。

我有几个查询。

  1. 有没有办法从传递给UDF的参数中获取列名?
  2. 如何将行/元组传递/处理到该UDF?

此外,如果有人已经看过/正在做类似的事情,请帮我解决这个用例。

0 个答案:

没有答案