使用其他文件和EMR流媒体步骤？

Question

我目前有一个hadoop命令，我想使用AWS SDK进行复制。

我正在使用的命令

hadoop jar /home/hadoop/contrib/streaming/hadoop-streaming.jar -input /no_dups -output /sorted -mapper mapper.py -reducer reducer.py -file mapper.py reducer.py other_file1.py other_file2.py

据我所知，StreamingStep类没有提供让Hadoop知道将需要其他文件的方法，以及mapper和reducer。

此功能是否可用？

Answer 1

我通过将-file选项传递给HadoopJarStepConfig并附上我需要的文件列表来解决这个问题。

请参阅this question