我正在尝试使用带有1个MapReduce TaskTracker的10个节点的CDH5 Cloudera获得最大的网络性能,但似乎无法获得流量以产生我需要的流量。我有40G的尼克卡,目前只有10G,真的很低。
使用1 MapReduce TaskTracker时,如何才能产生更好的性能和网络吞吐量?
正在运行 - 10个节点 RedHat 6.6 目前的Nic司机 CDH5 内核:3.18.1
我已经退役了9个MapReduce TaskTracker节点,但仍然没有取得好成绩。
答案 0 :(得分:0)
我终于发现你真的不需要数据节点上的任务跟踪器来进行网络dfsio测试,所以我退役了所有的datanode"任务跟踪器"并将任务跟踪器放在名称节点上,现在我同时拥有写入/ tx和读取/ rx流量,这就是我想要的网络吞吐量数据。