如何让Zeppelin在EMR集群上干净地重启?

时间:2017-02-03 20:26:36

标签: amazon-web-services hadoop pyspark amazon-emr apache-zeppelin

我正在运行EMR群集并尝试使用Zeppelin笔记本进行数据分析。

版本: 发布标签:emr-5.2.1
Hadoop发行版:亚马逊2.7.3
Hive 2.1.0
Spark 2.0.2
Zeppelin 0.6.2

我一直遇到Zeppelin在运行查询时挂起的问题,我永远无法恢复它。我试过了:
- 重新启动口译员
- SSH进入主节点并运行zeppelin_daemon.sh restart(尝试以hadoop / root / zeppelin运行,并运行带有选项reloadstart/stop,{{1}的脚本}})

每次我使用守护进程shell脚本时,它都会告诉我它已经停止/启动了,但是当我运行状态时,我得到了这个: upstart

我唯一可以做的就是杀死我的群集并站起来一个新的群体,这在很多层面都很疯狂。

那么......重启Zeppelin的官方支持方式是什么?

6 个答案:

答案 0 :(得分:9)

我进入主节点,然后运行

$ sudo stop zeppelin
zeppelin stop/waiting

$ sudo start zeppelin
zeppelin start/running, process 24434

紧接着,刷新Zeppelin给了我一个503,但是大约2分钟后,UI再次可用。我检查了/ var / log / zeppelin中的日志,配置设置需要一些时间。

答案 1 :(得分:5)

EMR上的服务使用upstart,重新启动它们的支持方式是使用“sudo stop< service-name&gt ;; sudo start< service-name>”。 (start和stop命令位于/ sbin中,默认位于PATH中。)

注意:目前在EMR上存在一个限制,阻止/ sbin / restart正常工作,因此必须使用stop然后启动而不是重启。

答案 2 :(得分:0)

这听起来有点傻,我不知道为什么会这样。但是,我遇到了发出守护进程停止/启动并让它工作的问题。但是,如果我能让守护进程运行,启动一个我知道可行的笔记本然后转换到问题笔记本有时可以解决问题,至少可以恢复我已经完成的工作。

答案 3 :(得分:0)

您是否尝试过:

sudo /usr/lib/zeppelin/bin/zeppelin-daemon.sh stop/start?

答案 4 :(得分:0)

在EMR 5.30及更高版本上,您需要使用sudo systemctl stop和sudo systemctl start命令

https://aws.amazon.com/premiumsupport/knowledge-center/restart-service-emr/

答案 5 :(得分:0)

sudo service zeppelin start
须藤服务齐柏林飞艇停止
须藤服务齐柏林飞艇重启

https://zeppelin.apache.org/docs/0.7.2/install/install.html