当我跑sc
时,我有火花和jupyter跑在笔记本中我得到<pyspark.context.SparkContext at 0x7f8b8c173d50>
这很棒。现在我尝试使用https://jupyter-kernel-gateway.readthedocs.io/en/latest/http-mode.html将此笔记本中的每个单元格作为端点运行。我从命令行启动了jupyter内核网关jupyter kernelgateway --KernelGatewayApp.api=kernel_gateway.notebook_http --KernelGatewayApp.seed_uri=notebooks/Spark_Test.ipynb
,并且工作正常。只有当我尝试运行获得火花上下文的单元格时,我才会获得500并且它会显示Error NameError: name 'sc' is not defined
。有没有办法在启动内核网关时获取spark上下文?我已经搜遍了所有这些并且很遗憾如何做到这一点。
如果相关,我会通过运行<path to spark home>/bin/pyspark
启动spark和jupyter。 kergnel-gateway和spark / jupyter也在不同的shell中运行。