使用Spark 1.61在AWS上进行Ipython

Question

我正在尝试使用Spark 1.6.1在我的AWS EMR Spark群集上运行Ipython。这个guide是一个很好的，但似乎只适用于火花1.3.1。有没有人有任何想法？

Answer 1

经过一番挖掘，我自己找到了答案。我经历了几个步骤：

1. 使用spark
启动AWS EMR群集
2. pip install jupyter
3. 生成jupyter笔记本配置文件：jupyter notebook --generate-config
4. 修改该配置文件以包含： c.Notebook.ip = '*' c.Notebook.open_browser=False
5. 使用iptyhon选项启动笔记本：IPYTHON_OPTS="notebook" pyspark
6. 按照这些instructions
设置到主节点的SSH隧道
7. 转到localhost：

就是这样！