我目前在jupyter笔记本上使用python3.5作为内核。我手动导入pyspark库并实例化sc,sqlcontext等。应用程序运行正常,但在单个节点上运行。 我们在群集中有六个节点设置。我想在多个节点上运行我的应用程序。 是否需要将任何设置添加到我的应用程序或jupyter笔记本配置中? 请帮忙。 提前谢谢。
from pyspark import SparkConf , SQLContext , SparkContext , HiveContext
conf = SparkConf().setMaster("yarn").setAppName("test")
sc = SparkContext(conf = conf)