如何在笔记本中启用对Spark的蜂巢支持？

Question

默认情况下，我得到了预定义的火花会话对象（火花）。没有启用蜂巢。如何获得启用蜂巢的Spark会话？

Answer 1

我知道我迟到回答您的问题了。但是我希望它对正在研究它的人有用。

如果spark-defaults文件未设置catalogImplemenetation属性，则Toree SQL中的默认值为本地元存储目录（Derby）。您需要像这样在群集的spark-defaults.conf文件中将此配置显式设置为Hive：

set spark.sql.catalogImplementation=hive

将更改保存到此文件后，重新启动内核。