Question

EqualsIgnoreCase函数 - 异常：org.apache.pig.backend.executionengine.ExecException

输入：

 a.csv
 -------
  a
  A
 (blank/empty line)
  b
  B
  c
  C

目标：选择“a”，“A”，“b”和“B”的记录。

方法1：

    A = LOAD 'a.csv' using PigStorage(',') AS (value:chararray);
    B = FILTER A BY LOWER(value) IN ('a','b');
    DUMP B;

    Output :
     (a)
     (A)
     (b)
     (B)

方法2：

    C = FILTER A BY EqualsIgnoreCase(value, 'a') or  EqualsIgnoreCase(value, 'b');

    Output :
     2015-04-27 23:48:21,958 [Thread-30] WARN   org.apache.hadoop.mapred.LocalJobRunner - job_local_0014
        org.apache.pig.backend.executionengine.ExecException
        at org.apache.pig.builtin.EqualsIgnoreCase.exec(EqualsIgnoreCase.java:50)

试图理解为什么会抛出此异常。我理解这是因为空白记录。

尝试检查值是否为空或为空，仍然是相同的错误。

  D = FILTER A BY (value IS NOT NULL) OR (TRIM(value) != '') AND (EqualsIgnoreCase(value, 'a') or  EqualsIgnoreCase(value, 'b'));

非常感谢使用方法2 实现目标的任何意见/想法。

Answer 1

是的，你是对的，字符串函数EqualsIgnoreCase和TRIM无法处理输入中的空白字符串。
要解决这个问题，你在最后一个stmt做过的事情是正确的，只需删除它将起作用的Trim函数即可。

C = FILTER A BY (value is not null) and (EqualsIgnoreCase(value, 'a') or  EqualsIgnoreCase(value, 'b'));

not null condition是否会处理空（空格，空格和制表符）字符，因此不需要TRIM函数。

EqualsIgnoreCase函数 - 异常：org.apache.pig.backend.executionengine.ExecException

1 个答案: