从Spark 2.3上的Spark上下文动态访问Hive配置

时间:2018-12-26 17:11:05

标签: apache-spark hive

我正在使用spark 2.3(已启用Hive支持),并且我想在运行时访问和设置某些Hive配置的值,例如"hive.exec.max.dynamic.partitions"

如果我尝试从spark.conf对象中获取它们,即使设置了它们也找不到,因为我的代码后来因为抱怨动态分区的最大数量设置为2000而失败(我在我的集群的配置单元设置)

有什么方法可以在运行时访问配置单元配置吗?

1 个答案:

答案 0 :(得分:0)

您所指的问题似乎下面有一个解决方案。

Unable to increase hive dynamic partitions in spark using spark-sql