我无法在PySpark中创建多个sparkContexts

Question

我使用命令

conf = SparkConf().setMaster("spark://10.21.208.21:7077").set("spark.driver.allowMultipleContexts", "true")
conf.getAll()

不能

Answer 1

spark.driver.allowMultipleContexts 选项仅适用于内部测试用例。它不适合外部使用，不应该在用户程序中使用。