Question

我正在运行以下命令

TestData = FOREACH records Generate From as from, MsgId as Msg, REPLACE(toAddress,';' , ',');

我收到以下错误

不匹配的角色 ''期待'''2014-04-14 12：27：56,863 [主要]错误 org.apache.pig.tools.grunt.Grunt - ERROR 1200：不匹配的角色'' 期待'''

可能是因为;性格？若然后如何应用补丁..

Answer 1

在我看来，猪0.11.0-cdh4.3.0不包含PIG-2507。
您需要修补并重建Pig以使其正常工作（从此处下载修补程序：https://issues.apache.org/jira/secure/attachment/12571848/PIG_2507.patch）或作为解决方法，您可以基于org.apache.pig.builtin.REPLACE创建自定义UDF ：

E.g：

package com.example;

import java.io.IOException;
import java.util.ArrayList;
import java.util.List;

import org.apache.pig.EvalFunc;
import org.apache.pig.FuncSpec;
import org.apache.pig.PigWarning;
import org.apache.pig.data.Tuple;
import org.apache.pig.data.DataType;
import org.apache.pig.impl.logicalLayer.schema.Schema;
import org.apache.pig.impl.logicalLayer.FrontendException;

public class MyReplace extends EvalFunc<String> {

    private String searchString;
    public MyReplace(String searchString) {
        this.searchString = searchString;
    }

    @Override
    public String exec(Tuple input) throws IOException {
        if (input == null || input.size() < 2)
            return null;

        try {
            String source = (String) input.get(0);
            String replacewith = (String) input.get(1);
            return source.replaceAll(searchString, replacewith);
        }
        catch (Exception e) {
            warn("Failed to process input; error - " + e.getMessage(), PigWarning.UDF_WARNING_1);
            return null;
        }
    }

    @Override
    public Schema outputSchema(Schema input) {
        return new Schema(new Schema.FieldSchema(null, DataType.CHARARRAY));
    }

    /* (non-Javadoc)
     * @see org.apache.pig.EvalFunc#getArgToFuncMapping()
     */
    @Override
    public List<FuncSpec> getArgToFuncMapping() throws FrontendException {
        List<FuncSpec> funcList = new ArrayList<FuncSpec>();
        Schema s = new Schema();
        s.add(new Schema.FieldSchema(null, DataType.CHARARRAY));
        s.add(new Schema.FieldSchema(null, DataType.CHARARRAY));
        funcList.add(new FuncSpec(this.getClass().getName(), s));
        return funcList;
    }
}

将它装在一个罐子里然后就可以使用它了：

register '/path/to/my.jar';
DEFINE myReplace com.example.MyReplace(';');
A = load 'data' as (a:chararray);
B = FOREACH A generate myReplace(a,',');
...

Answer 2

也可以使用 Pig 内置函数来实现。在替换函数调用中使用Unicode转义序列而不是特殊字符。对于上述问题，请使用：

REPLACE (toAddress,'\\\\u003b','\u002c')

取代：

REPLACE(toAddress,';' , ',')

为什么我在apache猪中使用替换功能时遇到错误？

2 个答案: