如何为pyspark独立ipython笔记本设置spark conf

时间:2016-05-27 19:03:57

标签: apache-spark

我单独运行spark stand并从命令行启动pyspark,因此它打开了一个ipython笔记本。这是我开始pyspark的方式:

PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS="notebook" /usr/local/src/spark/spark-1.6.1-bin-hadoop2.6/bin/pyspark

Ipython笔记本在我的浏览器中打开,并且已经有一个我可以开始使用的SQLContext sc了。但是,我需要为SparkContext设置一个conf。

conf = SparkConf().setAppName("Cloudant Spark")
conf.set("jsonstore.rdd.schemaSampleSize", -1)

sc = SparkContext(conf=conf)
sqlContext = SQLContext(sc)

然而,sc已经存在,所以它不会让我创建另一个。我首先尝试了sc.stop()但是当我尝试使用新的sqlContext时,这会给我一个错误。

我的问题是: 1.如何设置conf? 2.有没有更好/不同的方式将Ipython笔记本连接到独立的pyspark?

0 个答案:

没有答案