每个映射器“类型”

Question

我正在尝试运行每个映射器“type”接收不同输入文件的作业。我知道有一种方法可以使用像这样的MultipleInputs类来使用Java：

MultipleInputs.addInputPath(job,new Path(args[0]),TextInputFormat.class,CounterMapper.class);
MultipleInputs.addInputPath(job,new Path(args[1]),TextInputFormat.class,CountertwoMapper.class);

其中CounterMapper.class和CountertwoMapper.class是相应的映射器“类型”。

我正在尝试使用MrJob为Python或任何其他非Java语言实现类似的功能（请不要问为什么！）。

这image与我想要实现的相似。

感谢任何帮助。

Answer 1

我找到了一种方法，可以将不同的地图制作者与唱歌输入路径相关联，但这并不能完全回答你的问题，但希望它可以帮助你。在下面的链接

Using multiple mapper inputs in one streaming job on hadoop?