Question

我正在尝试使用此链接在我的笔记本电脑上设置hadoop 0.22.0用于学习目的

http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/

当我运行脚本start-dfs.sh时，这就是输出

starting namenode, logging to /usr/local/hadoop/bin/../logs/hadoop-raunak-namenode-ubuntu.out
localhost: starting datanode, logging to /usr/local/hadoop/bin/../logs/hadoop-raunak-datanode-ubuntu.out
localhost: starting secondarynamenode, logging to /usr/local/hadoop/bin/../logs/hadoop-raunak-secondarynamenode-ubuntu.out

jps命令的输出为：

18106 Jps
17269 NameNode
17556 DataNode
17845 SecondaryNameNode

但我看不到TaskTracker或JobTracker正在运行。那么，任何人都可以告诉我，我可以错过什么。我是一个新手，不知道需要什么信息。所以，请告诉我。

Answer 1

我同意Chris Gerken的评论，你正在运行start-dfs.sh脚本，它只启动HDFS服务。如果您想要地图缩减服务（作业跟踪器和任务跟踪器），则需要运行start-mapred.sh。

此外，来自start-all.sh的已弃用邮件提示：

echo "This script is Deprecated. Instead use start-dfs.sh and start-mapred.sh"

Answer 2

如果您使用的是较新版本的hadoop，您可能会发现它与您提到的教程略有不同。现在所有conf/个文件都在hadoop-installation/etc/hadoop目录中。

所有hadoop守护进程都在sbin/目录中。

此外，当您运行sbin/start-all.sh时，脚本会说该命令已弃用，并会要求您在我的情况下运行start-dfs.sh和start-yarn.sh。

start-dfs.sh在主namenode和data-nodes slave以及secondarynamenode localhost上启动了start-yarn.sh。

ResourceManager启动了两个新流程，即NodeManager和ResourceManager。因此，在这种情况下，我猜JobTracker是NodeManager而TaskTracker是var MailListener = require('mail-listener2'), fs = require('fs'), jsonfile = require('jsonfile'), config; config = JSON.parse(fs.readFileSync(process.cwd()+"/config.json","utf-8")); var mailListener = new MailListener({ username: config.username, password: config.password, host: config.imap.host, port: config.imap.port, tls: config.imap.secure, tlsOptions: config.imap.rejectUnauthorized, mailbox: config.imap.mailbox, fetchUnreadOnStart: config.imap.fetchUnreadOnStart, mailParserOptions: config.imap.stream, attachments: config.imap.download, mailListener.start(); // start listening mailListener.on("server:connected", function(){ console.log("imapConnected"); }); mailListener.on("server:disconnected", function(){ console.log("imapDisconnected"); }); mailListener.on("error", function(err){ console.log(err); }); mailListener.on("mail", function(mail){ var tresc = mail.text, regexp = new RegExp(/\d+/), token = regexp.exec(tresc); var date = mail.date.toString('utf8'); var obj = {"token" : token, "startTime" : date}; jsonfile.writeFile("token.json",obj, function(err){ if (err) throw err; }); });。

Answer 3

JobTracker和TaskTracker是MRv1（或Hadoop版本1）中MapReduce执行所涉及的两个基本过程。这两个进程现已在MRv2（或Hadoop版本2）中弃用，并由资源管理器，应用程序主服务器和节点管理器守护程序替换。如果您只使用start-all.sh，那么它将启动您的以下服务。

7120 ResourceManager
6787 DataNode
6981 SecondaryNameNode
7573 Jps
6678 NameNode
7229 NodeManager

Answer 4

使用JobTracker Web界面默认为http://localhost:50030/，TaskTracker Web界面默认为http://localhost:50060/。可能是因为某种原因没有在JPS中出现。

Hadoop：TaskTracker和JobTracker不以start-dfs.sh开头

4 个答案: