亚马逊流弹性mapreduce获取输入文件名和设置输出

时间:2012-04-20 12:39:40

标签: hadoop amazon-web-services

我正在使用亚马逊流媒体功能,是否可以获取文件输入名称?

我也可以设置输出,因此每个新行都不是新文件吗?

1 个答案:

答案 0 :(得分:0)

如果这是你的问题,你没有正确使用它。您的映射器不应该关心它正在处理哪个文件。它从整个集合中获取与您的--input参数匹配的数据块,并将其发送到STDIN上的映射器。映射器应处理输入并输出 \ t * val1 *, val2 ,...然后将其传递给(其中一个你的减速机在STDIN上。