火花不下载 hive_metastore 罐子

Question

环境

我通过 python API 使用 spark v2.4.4

问题

根据 spark documentation 我可以通过设置以下配置来强制 spark 下载所有 hive jar 以与我的 hive_metastore 交互

• spark.sql.hive.metastore.version=${my_version}
• spark.sql.hive.metastore.jars=maven

但是，当我运行以下python代码时，没有从maven下载jar文件。

   from pyspark.sql import SparkSession
   from pyspark import SparkConf
   conf = (
       SparkConf()
       .setAppName("myapp")
       .set("spark.sql.hive.metastore.version", "2.3.3")
       .set("spark.sql.hive.metastore.jars","maven")
   )
   spark = (
       SparkSession
       .builder
       .config(conf=conf)
       .enableHiveSupport()
       .getOrCreate()
   )

我怎么知道没有下载 jar 文件？

1. 我通过在 $SPARK_HOME/conf/log4j.properties 中设置 log4j.logger.org.apache.spark.api.python.PythonGatewayServer=INFO 将 logLevel=INFO 配置为默认值。我看不到任何日志表明 spark 正在与 maven 交互。 according to this 我应该看到一个 INFO 级别的日志
2. 即使由于某种原因我的日志记录被破坏了，SparkSession 对象的构建速度也太快了，无法从 Maven 中提取大 jar。它会在 5 秒内返回。如果我手动将 hive_metastore 的 maven 坐标添加到“spark.jars.packages”，则需要几分钟才能全部下载
3. 我已经删除了 ~/.ivy2 和 ~/.m2 目录以删除以前下载的缓存

其他测试

• 我也在 spark 3.0.0 集群上尝试了相同的代码，但它也不起作用
• 谁能发现我做错了什么？或者这个选项刚刚坏了

Answer 1

对于试图解决此问题的其他人：

• 当您创建 spark 上下文时，不会从 maven 下载。当您运行 hive 命令时会发生这种情况。例如spark.catalog.listDatabases()
• 您需要确保您尝试运行的 hive 版本受您的 spark 版本支持。并非所有版本的 hive 都受支持，不同版本的 spark 支持不同版本的 hive。