正确的配置单元metastore可在spark-shell中访问，但不能在spark-submit file.jar中访问

Question

我跑步时

spark-shell

在Linux shell中尝试：

spark.sql("show databases").show()

我获得了正确的数据库列表（因为我已连接到正确的元存储库）。现在，当我使用以下代码提交jar时：

通过-提交

spark-submit file.jar

邮政编码-

SparkConf conf = new SparkConf().setAppName("test");
SparkSession spark = SparkSession
            .builder()
            .config(conf)
            .enableHiveSupport()
            .getOrCreate();
spark.sql("show databases").show();

我列出的唯一数据库是默认数据库，因此它连接到错误的配置单元元存储。我还尝试将.config("hive.metastore.uris", "thrift://localhost:9083")添加到我的spark对象中，但是结果相同。该uri与/etc/spark/conf/hive-site.xml相同，都是正确的。

我该如何解决？

Answer 1

请尝试将--files /etc/hive/conf/hive-site.xml添加到您的spark-submit命令中。