Question

我有一个用例，我需要记录一个月的日期才能返回上个月的最后一个日期。

Ex: input:20150331 output:20150228

我将使用上个月的最后一个日期来过滤每日分区（在猪脚本中）。

B = filter A by daily_partition == GetPrevMonth(20150331);

我创建了一个UDF（GetPrevMonth），它接受日期并返回上个月的最后一个日期。但是无法在过滤器上使用它。

ERROR:Could not infer the matching function for GetPrevMonth as multiple or none of them fit. Please use an explicit cast.

我的udf将元组视为输入。谷歌搜索说UDF不能应用于过滤器。有没有解决方法？或者我在某个地方出错了？

UDF:public class GetPrevMonth extends EvalFunc<Integer> {

    public Integer exec(Tuple input) throws IOException {
        String getdate = (String) input.get(0);
        if (getdate != null){
        try{
            //LOGIC to return prev month date
        }

需要帮助。谢谢。

Answer 1

您可以在FILTER中调用UDF，但是您希望它在函数中传递一个数字，而您希望它在Pig中接收String（chararray）：

String getdate = (String) input.get(0);

简单的解决方案是在调用UDF时将其强制转换为chararray：

B = filter A by daily_partition == GetPrevMonth((chararray)20150331);

通常，当您看到Could not infer the matching function for X as multiple or none of them fit之类的错误时，99％的时间原因是您尝试传递给UDF的值是错误的。

最后一件事，即使没有必要，将来你可能想写一个纯FILTER UDF。在这种情况下，您需要从EvalFunc继承并返回FilterFunc值，而不是继承Boolean：

public class IsPrevMonth extends FilterFunc {
    @Override
    public Boolean exec(Tuple input) throws IOException {
        try {
            String getdate = (String) input.get(0);
            if (getdate != null){   
                //LOGIC to retrieve prevMonthDate

                if (getdate.equals(prevMonthDate)) {
                    return true;
                } else {
                    return false;   
                }
            } else {
                return false;
            }
        } catch (ExecException ee) {
            throw ee;
        }
    }
}

过滤器上的猪udf

1 个答案: