在运行pyspark3 jupyter内核时在本地使用python3

时间:2018-01-09 22:13:26

标签: python pyspark ipython jupyter-notebook jupyter

在jupyter中运行pyspark3内核时,是否有人知道如何更改%%local spark magic中调用的python的特定实例?

当运行带有sparkmagic的PySpark3内核时,我经常想将数据下载到我的本地机器并在那里进行一些计算。

然而,%%本地魔法似乎只能使用根系统python,而不是python3或虚拟环境。

这是我的kernel.json:

{
"argv":["python","-m","sparkmagic.kernels.pyspark3kernel.pyspark3kernel", 
"-f", "{connection_file}"],
"display_name":"PySpark3"
}

我的个人资料中已有export PYSPARK_PYTHON=python3。 我已经尝试通过用kernel.jsonpython3替换python参数以及虚拟环境的路径来调整/usr/bin/python3

0 个答案:

没有答案