如何使用Jupyter Notebook在pyspark中的Hive上使用％sql Magic字符串启用Spark SQL

Question

如何在jupyter笔记本上启用%sql Magic string，以及如何在具有以下代码行的单元格上使用％sql魔术字符串。

spark.sql('select * from test').show()

Answer 1

您不需要％sql魔术字符串即可使用Spark SQL。您需要先按照SparkSession API docs中所述创建一个Spark DataFrame，就像使用df = createDataFrame(data)一样。然后，您将创建一个全局视图，调用df.createOrReplaceTempView("test")。然后您上面的查询将起作用。

Answer 2

尝试

%%sql
select * from test

链接 https://github.com/jupyter-incubator/sparkmagic

Answer 3

尝试

%%sparksql
select * from test

尝试安装之前

  

pip安装sparksql-magic

引用：https://github.com/cryeo/sparksql-magic