构建SparkSession

Question

我在Zeppelin担任翻译。 我使用Spark2.0，我建立了一个Session：Create

Answer 1

一般情况下，您不应在Zeppelin中初始化SparkSession或SparkContext。 Zeppelin笔记本配置为您创建会话，它们的正确行为取决于使用提供的对象。

初始化SparkSession会破坏核心的Zeppelin功能，多个SparkContexts会在最糟糕的情况下完全破坏。

  

将spark.driver.allowMultipleContexts设置为False最好进行测试吗？

你永远不应该使用spark.driver.allowMultipleContexts - 它不受支持，也不能保证正确的结果。