Hadoop CDH5使用1个MapReduce TaskTracker在10节点上实现最高网络性能

时间:2015-03-16 16:03:36

标签: performance hadoop networking mapreduce task-tracking

我正在尝试使用带有1个MapReduce TaskTracker的10个节点的CDH5 Cloudera获得最大的网络性能,但似乎无法获得流量以产生我需要的流量。我有40G的尼克卡,目前只有10G,真的很低。

使用1 MapReduce TaskTracker时,如何才能产生更好的性能和网络吞吐量?

正在运行 - 10个节点 RedHat 6.6 目前的Nic司机 CDH5 内核:3.18.1

我已经退役了9个MapReduce TaskTracker节点,但仍然没有取得好成绩。

1 个答案:

答案 0 :(得分:0)

我终于发现你真的不需要数据节点上的任务跟踪器来进行网络dfsio测试,所以我退役了所有的datanode"任务跟踪器"并将任务跟踪器放在名称节点上,现在我同时拥有写入/ tx和读取/ rx流量,这就是我想要的网络吞吐量数据。