Hadoop流grep不起作用

Question

Grep似乎不适用于hadoop流媒体

有关： hadoop jar /usr/local/hadoop-0.20.2/contrib/streaming/hadoop-0.20.2-streaming.jar -input/user/root/tmp2/user.data -output / user / root / selected_data -mapper'/ bin / grep 1938678460'-reducer'wc'-jobconf mapred.output.compress = false

我得到： java.lang.RuntimeException：PipeMapRed.waitOutputThreads（）：子进程失败，代码为1     在org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads（PipeMapRed.java:311）     在org.apache.hadoop.streaming.PipeMapRed.mapRedFinished（PipeMapRed.java:545）     在org.apache.hadoop.streaming.PipeMapper.close（PipeMapper.java:132）     在org.apache.hadoop.mapred.MapRunner.run（MapRunner.java:57）     在org.apache.hadoop.streaming.PipeMapRunner.run（PipeMapRunner.java:36）     在org.apache.hadoop.mapred.MapTask.runOldMapper（MapTask.java:358）     在org.apache.hadoop.mapred.MapTask.run（MapTask.java:307）     在org.apache.hadoop.mapred.Child.main（Child.java:17

有什么想法吗？

我也尝试过： -mapper'cat'-reducer'/ bin / grep 1938678460'（猫工作，grep没有）

....我还检查了/ bin / grep在那里的所有机器，它是

Grep不起作用，或者我遗失了什么？

Answer 1

我自己没有尝试过，但如果没有找到某些内容，grep会以非零退出代码退出。如果某个地图不包含您要使用的字符串，则会得到一个非零退出代码，并且hadoop会出错。也许像“/ bin / grep || true”这样的东西可以工作。