在jupyter-kernel-gateway中定义spark上下文

时间:2017-02-07 16:44:34

标签: ipython pyspark jupyter-notebook jupyter

当我跑sc时,我有火花和jupyter跑在笔记本中我得到<pyspark.context.SparkContext at 0x7f8b8c173d50>这很棒。现在我尝试使用https://jupyter-kernel-gateway.readthedocs.io/en/latest/http-mode.html将此笔记本中的每个单元格作为端点运行。我从命令行启动了jupyter内核网关jupyter kernelgateway --KernelGatewayApp.api=kernel_gateway.notebook_http --KernelGatewayApp.seed_uri=notebooks/Spark_Test.ipynb,并且工作正常。只有当我尝试运行获得火花上下文的单元格时,我才会获得500并且它会显示Error NameError: name 'sc' is not defined。有没有办法在启动内核网关时获取spark上下文?我已经搜遍了所有这些并且很遗憾如何做到这一点。

如果相关,我会通过运行<path to spark home>/bin/pyspark启动spark和jupyter。 kergnel-gateway和spark / jupyter也在不同的shell中运行。

0 个答案:

没有答案