Question

我正在尝试为spark-shell中的spark对象启用Hive支持，但它不起作用。我正在使用Hortonworks HDP。以下是我尝试启用Hive支持时获得的内容：

scala> val spark3 = SparkSession.builder.enableHiveSupport.getOrCreate
17/10/24 21:30:28 WARN SparkSession$Builder: Using an existing SparkSession; some configuration may not take effect.
spark3: org.apache.spark.sql.SparkSession = org.apache.spark.sql.SparkSession@22f8be7c

scala> spark3.catalog
res3: org.apache.spark.sql.catalog.Catalog = org.apache.spark.sql.internal.CatalogImpl@49c13ecd

Answer 1

在HDP中，spark-shell已经创建了一个支持Hive的有效SparkSession。

你得到警告说getOrCreate使用了现有的会话

你可以尝试

spark.sql("show tables").show()

此外，您使用的是spark而不是spark3，因此不清楚spark.catalog除了该对象的toString信息之外会向您显示的内容

如何启用Hive支持火花壳中的火花（火花2.1.1）

1 个答案: