Question

在spark-shell中，HiveContext有错误＆＃34; hive.metastore.warehouse.dir＆＃34;

我已设置hive-site.xml，我已检查过getConf("my.conf.test")

<property>
  <name>hive.metastore.warehouse.dir</name>
  <value>/user/hive/warehouse</value>
</property>
<property>
  <name>hive.conf.test</name>
  <value>yes</value>
</property>

scala> sqlContext.getConf("hive.conf.test")
res3: String = yes

但是对于metastore dir conf，它没有给我我在hive-site中设置的内容。

scala> sqlContext.getConf("hive.metastore.warehouse.dir")
res3: String = file:/tmp/spark-7ff284bc-4b1b-400f-8bc4-2f8a97d86399/metastore

即使我错误地设置了metastore.warehouse.dir，也应该提供默认值/user/hive/warehouse，但不是/tmp/.........。

Answer 1

我遇到了同样的问题。我的解决方案是新的hiveConf将自动加载hive-site.xml

val hiveConf = new HiveConf()
hiveConf.get("hive.metastore.warehouse.dir")

为什么spark-shell中的HiveContext会给出错误的配置值

1 个答案: