当我在jupyter

时间:2018-01-04 15:39:12

标签: apache-spark pyspark jupyter-notebook

当我在juoyter笔记本中启动一个pyspark内核时,究竟是什么启动的?一个JVM / python / Scala环境适合我吗?我不明白的是,许多开发人员登录到公司的同一个jupyter笔记本服务器,每个人都有自己的内核。那么启动它不会影响其他开发人员使用的其他内核吗?

1 个答案:

答案 0 :(得分:0)

如果没有访问您的环境,很难说。通常它会启动Python驱动程序,Py4j网关和JVM驱动程序。

然而,这不是可能的选择。例如,您的笔记本可以使用魔法连接到现有的Livy会话,或使用Toree与Spark进行通信,如解决方案和消息队列。