Question

我有用C＃编写的mapper和reducer可执行文件。我想在Hadoop流媒体中使用它们。

这是我用来创建Hadoop作业的命令......

hadoop jar $HADOOP_HOME/contrib/streaming/hadoop-streaming-*.jar 
-input "/user/hduser/ss_waits" 
-output "/user/hduser/ss_waits-output" 
–mapper "mono mapper.exe" 
–reducer "mono reducer.exe" 
-file "mapper.exe" 
-file "reducer.exe"

这是每个映射器遇到的错误......

java.io.IOException: Type mismatch in key from map: expected org.apache.hadoop.io.Text, recieved org.apache.hadoop.io.LongWritable
at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.collect(MapTask.java:1014)
at org.apache.hadoop.mapred.MapTask$OldOutputCollector.collect(MapTask.java:592)
at org.apache.hadoop.mapred.lib.IdentityMapper.map(IdentityMapper.java:38)
at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:50)
at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:436)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:372)
at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121)
at org.apache.hadoop.mapred.Child.main(Child.java:249)

基于调用堆栈，问题似乎是（Java）IdentityMapper类被用作映射器。（这解释了导致类型不匹配错误的原因）。 映射器应该是可执行文件“mono mapper.exe”。

没有使用 mono mapper.exe 的任何想法？

mapper.exe和reducer.exe具有以下权限：-rwxr-xr-x

我能够从unix命令shell成功执行 mono mapper.exe 并让它从stdin中读取文本并写入stdout。

环境：

Ubuntu Server 12.04 LTS（在Azure上运行的VM）
Hadoop 1.0.4
Mono 2.10

Answer 1

假设mono在PATH中，你需要mapper.exe和reducer.exe的完整路径吗？即

hadoop jar $HADOOP_HOME/contrib/streaming/hadoop-streaming-*.jar 
-input "/user/hduser/ss_waits" 
-output "/user/hduser/ss_waits-output" 
–mapper "mono /path/to/mapper.exe" 
–reducer "mono /path/to/reducer.exe" 
-file "mapper.exe" 
-file "reducer.exe"

使用C＃和Mono的Hadoop流式传输：IdentityMapper使用不正确

1 个答案: