我正在使用spark 2.3(已启用Hive支持),并且我想在运行时访问和设置某些Hive配置的值,例如"hive.exec.max.dynamic.partitions"
。
如果我尝试从spark.conf
对象中获取它们,即使设置了它们也找不到,因为我的代码后来因为抱怨动态分区的最大数量设置为2000而失败(我在我的集群的配置单元设置)
有什么方法可以在运行时访问配置单元配置吗?
答案 0 :(得分:0)
您所指的问题似乎下面有一个解决方案。
Unable to increase hive dynamic partitions in spark using spark-sql