如何在Dataproc上安装Jupyter / iPython？

Question

我想在Jupyter/iPython上使用Cloud Dataproc。如何在创建新群集时自动安装和配置它？

Answer 1

Cloud Dataproc团队有一个GitHub repository of initialization actions包含示例和经常使用的初始化操作。您可以使用存储库中的iPython专门用于自动安装和配置iPython。 initialization action page详细介绍了在创建新群集时如何使用脚本。

tl; dr进程：

1. Download iPython的初始化操作
2. 将初始化操作保存到Google云端存储分区

3. Create a new cluster Google Cloud SDK使用--initalization-actions标记：

   gcloud beta dataproc clusters create <my-dataproc-cluster> --initialization-actions gs://<my-bucket>/ipython.sh

4. Create an SSL tunnel and SOCKS proxy到群集

5. 将Web浏览器打开到主节点http://<my-dataproc-cluster>-m:8123

在上面的示例中，您需要将<my-bucket>替换为您的云存储桶名称，并将<my-dataproc-cluster>替换为您的群集名称。另请注意，对于第5步，网址应在群集名称中添加-m，以便您访问主节点。

Answer 2

除了上一个答案之外，article中详细介绍了此过程。此外，它涵盖了Python 3并将笔记本保存在云存储中。