我按照EMR页面上的步骤启动了AWS EMR集群。通过SSH(Windows 7中的putty)连接并启用foxyproxy(Chrome)后,它启动正常,可以在我的笔记本电脑浏览器中访问。 Pyspark和sparkR配备EMR Spark 1.6.0安装并在终端中完美运行。 Hue等的端口可以按以下格式正常工作:
ec2-xx-xxx-xxx-xxx.us-west-2.compute.amazonaws.com:/
我按照http://jupyter.readthedocs.org/en/latest/install.html#using-pip
上的步骤安装了Jupytersudo pip install jupyter
我用
打开了一个新笔记本jupyter notebook
它在我关闭的终端中打开了一个浏览器。它给出了以下输出:
[I 14:32:12.001 NotebookApp] Writing notebook server cookie secret to /home/hadoop/.local/share/jupyter/runtime/notebook_cookie_secret
[I 14:32:12.033 NotebookApp] The port 8888 is already in use, trying another random port.
[I 14:32:12.037 NotebookApp] Serving notebooks from local directory: /home/hadoop
[I 14:32:12.037 NotebookApp] 0 active kernels
[I 14:32:12.038 NotebookApp] The Jupyter Notebook is running at: http://localhost:8889/
[I 14:32:12.038 NotebookApp] Use Control-C to stop this server and shut down all kernels (twice to skip confirmation).
我尝试在浏览器中访问它: localhost:8889 /
(当然没有工作)
然后: ec2-xx-xxx-xxx-xxx.us-west-2.compute.amazonaws.com:8889 /
(替换x' s),但这也给出了错误。
This webpage is not available
ERR_CONNECTION_RESET
那么当它安装在EMR集群的头节点上时,如何在本地浏览器中访问Jupyter?
答案 0 :(得分:3)
我还没有真正使用过Jupyter,但我尝试像你一样安装和运行它,我注意到Jupyter默认配置为只监听localhost,这就是为什么你不能从浏览器访问它
然后我发现运行“jupyter notebook --generate-config”会生成一个配置文件〜/ .jupyter / jupyter_notebook_config.py,您可以编辑该文件以使其在0.0.0.0而不是localhost上进行侦听。只需将c.NotebookApp.ip更改为“0.0.0.0”并取消注释该行。
完成此操作后,我可以使用http://ip-10-168-157-117.ec2.internal:8888/之类的网址从浏览器访问Jupyter。 (默认情况下,我正在监听端口8888,但我假设你的端口是8889,因为安装了Hue并已经在端口8888上进行监听。)