找不到Spark Cell魔法

Question

我有python2 env。在Windows 10上使用jupyter笔记本。

按照本教程中的说明操作后，我设法在Windows 10上安装spark： this blog

但是当我尝试为SQL运行cell magic时，我收到以下错误：

  

错误：root：找不到单元格魔术%%sql。

当我使用％lsmagic时，我无法在其中找到sql cell magic。

我也注意到在Jupyter中启动新笔记本时没有pyspark内核的选项。

Answer 1

您是否尝试使用SQL或Spark-SQL？我使用了iPython-SQL这很棒，而SparkMagic也听起来就像你正在寻找的那样。尝试安装SparkMagic，它使用%%sql magic。