Hadoop流式Python作业 - 子进程失败,代码为1

时间:2017-12-16 21:19:31

标签: python hadoop hadoop-streaming

我正在尝试使用Hadoop Streaming功能在Python编写的Hadoop集群上部署算法。当我尝试“本地”执行它时,使用以下语法

Fatal error:  Uncaught exception 'Mailgun\Exception\HydrationException' with message 'The ModelHydrator cannot hydrate response with Content-Type: text/html;charset=utf-8' in /home/MYDOMAIN/public_html/include/vendor/mailgun/mailgun-php/src/Mailgun/Hydrator/ModelHydrator.php:34

它就像魅力一样,但当我尝试使用语法

在群集上部署它时
cat poi/* | ./mapper_paths.py | ./combiner_paths.py | ./reducer_paths.py

说不清楚

  

错误:java.lang.RuntimeException:PipeMapRed.waitOutputThreads():子进程失败,代码为1

here是完整日志)

现在,我无法访问Python错误日志,可能是由于集群的部署方式(我使用this Docker容器),所以我无法理解错误的确切位置。

这些是脚本:Mapper | Combiner | Reducer

提前感谢您的帮助!

0 个答案:

没有答案