PySpark忽略了`HIVE_METASTORE_JARS`变量

时间:2016-04-26 17:22:15

标签: apache-spark hive pyspark

我正在针对Hive 0.14运行PySpark 1.6.0。配置选项spark.sql.hive.metastore.version设置为0.14但spark.sql.hive.metastore.jars未设置,因此PySpark正在尝试使用内置的,并且无法使用消息访问Hive

IllegalArgumentException: u'Builtin jars can only be used when hive execution version == hive metastore version. Execution: 1.2.1 != Metastore: 0.14. Specify a vaild path to the correct hive jars using $HIVE_METASTORE_JARS or change spark.sql.hive.metastore.version to 1.2.1.'

正如所料。我在shell上将变量HIVE_METASTORE_JARS设置为Hive jars的正确文件夹0.14,但PySpark忽略它。用--jars hive-metastore.jar传递它似乎不起作用(它完全挂起)。

有没有办法让PySpark看到这些罐而不更改spark.sql.hive.metastore.jars上的spark-conf变量?

0 个答案:

没有答案