我在100GB文本文件上运行字数统计程序。我在多节点集群中使用3个系统,slave1和slave 2.除了master 2 slave之外,分别运行数据节点和任务跟踪器。现在,当我在奴隶机器上运行jps推荐时,它将减慢以下输出:
hduser@slave2:/usr/local/hadoop/bin$ jps
2970 DataNode
6456 Child
14534 RunJar
6529 Jps
3215 TaskTracker
5787 Child
6463 Child
现在孩子这里有什么? RunJar是什么意思?
答案 0 :(得分:1)
jps命令缓慢的原因是从节点正用于执行mapreduce任务。在mapreduce期间,执行资源(如CPU,内存等)几乎都会被mapreduce任务使用,因此执行命令会花费一些时间。
什么是RunJar?
从节点执行hadoop jar <Jarname>
命令时,将调用Hadoop Runjar实用程序主类org.apache.hadoop.util.RunJar
。
Wat is Child
TaskTracker在单独的jvm中将Mapper / Reducer任务作为子进程执行。儿童java处理belog到map taks或reduce任务
使用选项jps -l
获取完整的Packagename&amp;类名