如果我使用-mapper cat而不是-mapper org.apache.hadoop.mapred.lib.IdentityMapper,Hadoop Streaming的性能是否会降低?

时间:2014-07-24 17:31:16

标签: hadoop hadoop-streaming elastic-map-reduce

我在尝试使用org.apache.hadoop.mapred.lib.IdentityMapper作为Hadoop Streaming 1.0.3中-mapper的参数时遇到了问题。 "猫"虽然工作;使用cat会影响性能 - 特别是在Elastic MapReduce上?

1 个答案:

答案 0 :(得分:0)

我遇到了类似的问题,身份映射器没有工作,我必须使用Cat

我们没有看到性能发生巨大变化,因为我知道身份映射器是jar vs cat 是unix命令。