Hive和用户定义的函数

时间:2013-08-22 19:04:26

标签: hadoop hive

我对Hive上的UDF有疑问。 当我在hive查询中使用UDF时,它是否以MapReduce方式处理数据?例如,当我使用avg函数时。 Hive是否在mapReduce Jobs中转换函数? 最好成绩

1 个答案:

答案 0 :(得分:0)

在大多数情况下,Hive查询将被转换为map / reduce作业(例外情况是HBase表上的SELECT *)。平均值(avg)是内置的聚合函数,而不是UDF,但是这个Hive将在map / reduce作业中处理。

请注意,Hive的未来版本可能会对此有所改进(例如参见此post on Hive Stinger initiative),但如上所述,目前主要是m / r