Question

根据http://hadoop.apache.org/common/docs/current/api/org/apache/hadoop/mapreduce/Reducer.html

reducer通过网络使用HTTP复制每个Mapper的排序输出。

节点上的哪个端口用于此数据传输？默认情况下是50060吗？

Answer 1

这是在每个从属节点上运行的任务跟踪器的端口，通常为50060（您可以检入tasktracker日志文件：

2012-05-29 20:24:23,925 INFO org.apache.hadoop.http.HttpServer: listener.getLocalPort() returned 50060 webServer.getConnectors()[0].getLocalPort() returned 50060
2012-05-29 20:24:23,925 INFO org.apache.hadoop.http.HttpServer: Jetty bound to port 50060
2012-05-29 20:24:23,925 INFO org.mortbay.log: jetty-6.1.26
2012-05-29 20:24:24,283 INFO org.mortbay.log: Started SelectChannelConnector@0.0.0.0:50060

Hadoop - Reducer到映射器端口

1 个答案: