使用jupyter notebook在集群模式下运行pyspark应用程序

时间:2018-02-04 19:01:23

标签: apache-spark pyspark jupyter-notebook

我目前在jupyter笔记本上使用python3.5作为内核。我手动导入pyspark库并实例化sc,sqlcontext等。应用程序运行正常,但在单个节点上运行。 我们在群集中有六个节点设置。我想在多个节点上运行我的应用程序。 是否需要将任何设置添加到我的应用程序或jupyter笔记本配置中? 请帮忙。 提前谢谢。

from pyspark import SparkConf , SQLContext , SparkContext , HiveContext

conf = SparkConf().setMaster("yarn").setAppName("test")

sc = SparkContext(conf = conf)

0 个答案:

没有答案