在Jupyter笔记本中导入spark.implicits._

Question

为了在$"my_column"中使用spark sql构造，我们需要：

import spark.implicits._

然而，这在jupyter笔记本单元格中并不起作用：结果是：

Name: Compile Error
Message: <console>:49: error: stable identifier required, but this.$line7$read.spark.implicits found.
       import spark.implicits._
                    ^

我曾经看过过去 工作的笔记本 - 但它们可能是zeppelin ..有没有办法让这个jupyter？< / p>

Answer 1

这是一个有效的黑客

val spark2: SparkSession = spark
import spark2.implicits._

所以现在spark2引用是＆＃34;稳定＆＃34;显然。