我单独运行spark stand并从命令行启动pyspark,因此它打开了一个ipython笔记本。这是我开始pyspark的方式:
PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS="notebook" /usr/local/src/spark/spark-1.6.1-bin-hadoop2.6/bin/pyspark
Ipython笔记本在我的浏览器中打开,并且已经有一个我可以开始使用的SQLContext sc了。但是,我需要为SparkContext设置一个conf。
conf = SparkConf().setAppName("Cloudant Spark")
conf.set("jsonstore.rdd.schemaSampleSize", -1)
sc = SparkContext(conf=conf)
sqlContext = SQLContext(sc)
然而,sc已经存在,所以它不会让我创建另一个。我首先尝试了sc.stop()
但是当我尝试使用新的sqlContext时,这会给我一个错误。
我的问题是: 1.如何设置conf? 2.有没有更好/不同的方式将Ipython笔记本连接到独立的pyspark?