如何隔离jupyterhub上的每个用户的spark会话？

Question

我有一个连接到JupyterHub安装程序的AD插件，以便可以通过AD连接器在JupyterHub上对用户进行身份验证。

问题是，如果不同的用户通过JupyterHub上的Jupyter Notebook将他们的Spark作业提交到共享的基础Spark引擎，是否有办法让每个用户都拥有自己的独立Spark会话而不是共享的Spark会话？

非常感谢！

Answer 1

使用此部署模式：

• 用户将连接到绑定到AD的共享 JupyterHub
• 如果它们通过了身份验证，将产生一个新的 Jupyter Notebook （服务器）
• 然后，他们将在Jupyter Notebook中根据您的部署在本地或群集模式下使用 Spark 。在两种情况下，驱动程序专用于它们的使用（不共享）。

在此典型部署中，除了Spark群集（如果有）之外，没有共享任何内容。每个用户都可以获取和管理新的SparkSession。

请参见jupyterhub-deploy-docker中的此图。