在jupyter中运行pyspark3内核时,是否有人知道如何更改%%local
spark magic中调用的python的特定实例?
当运行带有sparkmagic的PySpark3内核时,我经常想将数据下载到我的本地机器并在那里进行一些计算。
然而,%%本地魔法似乎只能使用根系统python,而不是python3或虚拟环境。
这是我的kernel.json:
{
"argv":["python","-m","sparkmagic.kernels.pyspark3kernel.pyspark3kernel",
"-f", "{connection_file}"],
"display_name":"PySpark3"
}
我的个人资料中已有export PYSPARK_PYTHON=python3
。
我已经尝试通过用kernel.json
,python3
替换python参数以及虚拟环境的路径来调整/usr/bin/python3