cygwin hadoop map-reduce问题

Question

我在使用map / reduce示例处理cygwin时遇到问题：http://www.michael-noll.com/tutorials/writing-an-hadoop-mapreduce-program-in-python/

在cygwin下，传递-mapper = mapper.py导致“CreateProcess error = 193，％1不是有效的Win32应用程序”

我尝试使用-mapper =“python mapper.py”，它给出错误：java.lang.RuntimeException：PipeMapRed.waitOutputThreads（）：subprocess failed with code 1

在cygwin下使用python运行hadoop map / reduce有没有成功？

感谢。

Answer 1

我在Cygwin下获得了该教程的成功。我在WinXP的Cygwin 1.7.9-1下使用hadoop-0.20.2。我没有看到你的确切消息......我正在回答，因为我确实遇到了-mapper选项的问题，并通过将python脚本放在/ tmp目录中来解决它。我看到一些错误消息让我觉得有一些关于如何在Cygwin下命名/ home目录的混淆。我决定通过使用/ tmp避免这种情况并取得成功。我也使用单引号BTW。有时在Windows中粘贴双引号会为您提供Unix进程无法理解的字符。

顺便说一下，我也使用了教程。让Hadoop在Cygwin和Eclipse下运行： http://ebiquity.umbc.edu/Tutorials/Hadoop/ 接近结尾的Eclipse / java东西对我来说不起作用，而不是我计划如何使用Hadoop。但是，前几个步骤有助于实现伪群集。