SecondaryNamenode和MapReduce作业

时间:2013-06-18 11:47:01

标签: hadoop mapreduce

也许这是一个愚蠢的问题......但无论如何......

我怎么理解辅助名称节点做了什么(我的意思是它有效),我必须配置它来做某事吗?

默认情况下,MapReduce中的作业并行运行,我的意思是你在MR中编程的内容总是并行运行?

我提出这些问题是因为我必须证明(我有一个项目要做)hadoop上的工作并行运行。

提前谢谢你。

P.S:抱歉我的英语不好,希望我能理解。

1 个答案:

答案 0 :(得分:1)

Yon,当您配置Hadoop时,您将某台计算机的hostname放入/conf/masters。这是你的SNN将运行的地方。你可以去那台机器的终端发出JPS。这将显示当前运行的所有java处理。您应该能够看到SecondaryNameNode以及其他进程。像这样:

apache@hadoop:~$ jps
21615 TaskTracker
21268 SecondaryNameNode
21014 DataNode
27656 HRegionServer
21362 JobTracker
19908 org.eclipse.equinox.launcher_1.3.0.v20120522-1813.jar
17643 Jps
27364 HMaster
28451 Main
27194 HQuorumPeer
29811 RunJar
20744 NameNode

要交叉检查,您可以将其更改为其他机器并查看效果。或者,您可以通过SNN端口进行检查,默认情况下为50090。它有意义吗?

当您运行MR作业时,可以通过将Web浏览器指向mapreduce webUI来打开jobtracker_machine:50030。在这里,您可以看到正在运行的所有作业(或之前运行的作业)的列表,以及为特定作业创建的映射器/缩减器的总数。您可以单击某个作业,它将显示当前在您的群集上运行的所有映射器和缩减器。您可以在那里看到每个映射器/缩减器的进度。所有这些映射器/减速器在不同的机器中并行运行。要验证您是否可以单击每个映射器,它将显示运行该特定映射器/缩减器的机器以及每个映射器/缩减器的完成百分比。

HTH