Apache Spark无法正常启动

时间:2018-03-03 14:15:40

标签: apache-spark

第一种情况:

我已经在ubuntu 14上下载了spark。但是当我在下面运行时,结果即将到来。它无法正常启动并询问root用户密码。

root@sueeze-Lenovo-G580:~/Spark/spark-2.3.0-bin-hadoop2.6/sbin# ./start-all.sh
starting org.apache.spark.deploy.master.Master, logging to /home/sueeze/Spark/spark-2.3.0-bin-hadoop2.6/logs/spark-root-org.apache.spark.deploy.master.Master-1-ashish-Lenovo-G580.out
root@localhost's password: 

我可以知道吗:

1)这是什么?

2)为什么会发生这种情况?

3)为什么要询问root的密码?

情况2:

我已经通过在slave文件中添加localhost来修复情况。

现在master和worker都在运行。我想知道错过了什么但是当我添加localhost时它开始运行了吗? 但它在启动工作节点时仍然会询问root用户的密码。我的意思是首先它启动Master,但是当工作人员开始询问root用户的密码时。为什么?我该如何解决这个问题??

我只在我的本地机器上运行spark,因此我的本地机器的主机和从机都可用。正确的...?

由于

1 个答案:

答案 0 :(得分:0)

独立群集的启动脚本使用SSH连接登录到工作计算机(无论是否在localhost上)。

这就是脚本提示您输入密码的原因。

您需要使用SSH密钥在这些计算机上配置无密码登录,以防止交互式提示。简而言之,这是关于允许命令ssh localhostssh workermachinehost通常不提示您输入密码(使用ssh-copy-id

只要您在主计算机和工作计算机上创建了具有相同名称的用户,您就应该能够使用非root用户。

检查this documentation以获取有关运行独立群集的信息。