我正在针对Hive 0.14运行PySpark 1.6.0。配置选项spark.sql.hive.metastore.version
设置为0.14但spark.sql.hive.metastore.jars
未设置,因此PySpark正在尝试使用内置的,并且无法使用消息访问Hive
IllegalArgumentException: u'Builtin jars can only be used when hive execution version == hive metastore version. Execution: 1.2.1 != Metastore: 0.14. Specify a vaild path to the correct hive jars using $HIVE_METASTORE_JARS or change spark.sql.hive.metastore.version to 1.2.1.'
正如所料。我在shell上将变量HIVE_METASTORE_JARS
设置为Hive jars的正确文件夹0.14,但PySpark忽略它。用--jars hive-metastore.jar
传递它似乎不起作用(它完全挂起)。
有没有办法让PySpark看到这些罐而不更改spark.sql.hive.metastore.jars
上的spark-conf
变量?