Hadoop:TaskTracker和JobTracker不以start-dfs.sh开头

时间:2012-12-03 05:12:34

标签: java hadoop

我正在尝试使用此链接在我的笔记本电脑上设置hadoop 0.22.0用于学习目的

http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/

当我运行脚本start-dfs.sh时,这就是输出

starting namenode, logging to /usr/local/hadoop/bin/../logs/hadoop-raunak-namenode-ubuntu.out
localhost: starting datanode, logging to /usr/local/hadoop/bin/../logs/hadoop-raunak-datanode-ubuntu.out
localhost: starting secondarynamenode, logging to /usr/local/hadoop/bin/../logs/hadoop-raunak-secondarynamenode-ubuntu.out

jps命令的输出为:

18106 Jps
17269 NameNode
17556 DataNode
17845 SecondaryNameNode

但我看不到TaskTracker或JobTracker正在运行。那么,任何人都可以告诉我,我可以错过什么。我是一个新手,不知道需要什么信息。所以,请告诉我。

4 个答案:

答案 0 :(得分:7)

我同意Chris Gerken的评论,你正在运行start-dfs.sh脚本,它只启动HDFS服务。如果您想要地图缩减服务(作业跟踪器和任务跟踪器),则需要运行start-mapred.sh

此外,来自start-all.sh的已弃用邮件提示:

echo "This script is Deprecated. Instead use start-dfs.sh and start-mapred.sh"

答案 1 :(得分:4)

如果您使用的是较新版本的hadoop,您可能会发现它与您提到的教程略有不同。现在所有conf/个文件都在hadoop-installation/etc/hadoop目录中。

所有hadoop守护进程都在sbin/目录中。

此外,当您运行sbin/start-all.sh时,脚本会说该命令已弃用,并会要求您在我的情况下运行start-dfs.shstart-yarn.sh

start-dfs.sh在主namenodedata-nodes slave以及secondarynamenode localhost上启动了start-yarn.sh

ResourceManager启动了两个新流程,即NodeManagerResourceManager。因此,在这种情况下,我猜JobTrackerNodeManagerTaskTracker var MailListener = require('mail-listener2'), fs = require('fs'), jsonfile = require('jsonfile'), config; config = JSON.parse(fs.readFileSync(process.cwd()+"/config.json","utf-8")); var mailListener = new MailListener({ username: config.username, password: config.password, host: config.imap.host, port: config.imap.port, tls: config.imap.secure, tlsOptions: config.imap.rejectUnauthorized, mailbox: config.imap.mailbox, fetchUnreadOnStart: config.imap.fetchUnreadOnStart, mailParserOptions: config.imap.stream, attachments: config.imap.download, mailListener.start(); // start listening mailListener.on("server:connected", function(){ console.log("imapConnected"); }); mailListener.on("server:disconnected", function(){ console.log("imapDisconnected"); }); mailListener.on("error", function(err){ console.log(err); }); mailListener.on("mail", function(mail){ var tresc = mail.text, regexp = new RegExp(/\d+/), token = regexp.exec(tresc); var date = mail.date.toString('utf8'); var obj = {"token" : token, "startTime" : date}; jsonfile.writeFile("token.json",obj, function(err){ if (err) throw err; }); });

答案 2 :(得分:2)

JobTracker和TaskTracker是MRv1(或Hadoop版本1)中MapReduce执行所涉及的两个基本过程。 这两个进程现已在MRv2(或Hadoop版本2)中弃用,并由资源管理器,应用程序主服务器和节点管理器守护程序替换。 如果您只使用start-all.sh,那么它将启动您的以下服务。

7120 ResourceManager
6787 DataNode
6981 SecondaryNameNode
7573 Jps
6678 NameNode
7229 NodeManager

答案 3 :(得分:1)

使用JobTracker Web界面默认为http://localhost:50030/,TaskTracker Web界面默认为http://localhost:50060/。可能是因为某种原因没有在JPS中出现。