reducer刚开始没有hadoop流媒体

Question

我不确定发生了什么，但我写了一个简单的mapper和reducer脚本。

我正在针对一个小数据集（比如几行）测试它。

由于某种原因，reducer只是没有启动..并且mapper一次又一次地执行？

12/11/20 09:21:18 INFO streaming.StreamJob:  map 0%  reduce 0%
12/11/20 09:22:05 INFO streaming.StreamJob:  map 50%  reduce 0%
12/11/20 09:22:10 INFO streaming.StreamJob:  map 100%  reduce 0%
12/11/20 09:32:05 INFO streaming.StreamJob:  map 50%  reduce 0%
12/11/20 09:32:11 INFO streaming.StreamJob:  map 0%  reduce 0%
12/11/20 09:32:20 INFO streaming.StreamJob:  map 50%  reduce 0%
12/11/20 09:32:31 INFO streaming.StreamJob:  map 100%  reduce 0%
12/11/20 09:42:20 INFO streaming.StreamJob:  map 50%  reduce 0%
12/11/20 09:42:31 INFO streaming.StreamJob:  map 0%  reduce 0%
12/11/20 09:42:32 INFO streaming.StreamJob:  map 50%  reduce 0%
12/11/20 09:42:50 INFO streaming.StreamJob:  map 100%  reduce 0%

如果您还想要代码，请告诉我。 我出错的地方有哪些线索？ 感谢

Answer 1

确定。我的不好..

错误发生在我的shebang，我刚刚

#!/usr/bin/env 

而不是

 #!/usr/bin/env  python

这就是诀窍:)。

虽然我很想知道为什么mapper一次又一次地运行如果我从shebang跳过python ...