带有Spark 2.0的Python 2

Question

我们如何使用Spark 2.0为Python 2 /或3创建spark服务。每当我创建一个新服务并将其与python笔记本关联时，它的Python 2与Spark 1.6相关联。为什么我不能在Data Brick免费版中看到我正在创建的服务的配置？我想使用Spark 2.0中引入的SparkSession api来创建你的spark会话变量，这就是问题。

Answer 1

您可以选择Python和Spark版本：

一个。在数据科学体验中创建新笔记本：

DSX `Project` --> Overview--> `+ add notebooks` --> `Choose the language` (Python2/R/Scala/Python3) and Spark version (1.6/2.0/2.1).

湾更改现有笔记本的内核：

From any running notebook, on the notebook menu choose `Kernel` and then choose the language and Spark version combination of your choice.

Answer 2

您无法看到正在创建的服务的配置，因为您没有使用自己的配置创建服务。 Bluemix和Data Science Experience中的Apache Spark as a Service实例正在共享集群中获取执行槽。该共享集群的配置由IBM管理。

您的实例的Jupyter Notebook服务器具有针对每种受支持的语言和Spark版本组合的内核规范。要将笔记本切换到其他组合，请选择“内核 - >更改内核 - >（无论如何）”。或者在创建笔记本时单独选择语言和Spark版本。