Dataproc：在笔记本电脑上以群集模式启动Spark

Question

我想知道，Dataproc是否允许在Jupyter Notebook中以集群模式使用Spark？

如果是，它如何工作？是否有Livy API + Spark Magic或其他解决方案？

谢谢！

Answer 1

Dataproc不提供此功能，但您可以使用Livy initialization action进行设置。

也就是说，建议将Jupyter与Dataproc结合使用的方法是通过Dataproc Hub，它可以产生单用户Dataproc集群来承载Jupyter和JupyterLab笔记本环境。