我对Hive上的UDF有疑问。 当我在hive查询中使用UDF时,它是否以MapReduce方式处理数据?例如,当我使用avg函数时。 Hive是否在mapReduce Jobs中转换函数? 最好成绩
答案 0 :(得分:0)
在大多数情况下,Hive查询将被转换为map / reduce作业(例外情况是HBase表上的SELECT *)。平均值(avg)是内置的聚合函数,而不是UDF,但是这个Hive将在map / reduce作业中处理。
请注意,Hive的未来版本可能会对此有所改进(例如参见此post on Hive Stinger initiative),但如上所述,目前主要是m / r