停止配置单元的RetryingHMSHandler记录到databricks群集

时间:2020-09-29 19:53:56

标签: apache-spark log4j slf4j azure-databricks

我正在使用带有Spark 2.4.3和Scala 2.11的蔚蓝数据砖5.5 LTS。几乎所有发送到databricks集群的请求都带有以下错误日志

ERROR RetryingHMSHandler: NoSuchObjectException(message:There is no database named global_temp)
at org.apache.hadoop.hive.metastore.ObjectStore.getMDatabase(ObjectStore.java:487)
at org.apache.hadoop.hive.metastore.ObjectStore.getDatabase(ObjectStore.java:498)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)

虽然这不会影响我们要执行的操作的最终结果,但我们的日志会不断被填充,因此浏览起来并不愉快。我尝试通过将以下属性设置为驱动程序和执行程序来关闭它

log4j.level.org.apache.hadoop.hive.metastore.RetryingHMSHandler=OFF

后来才意识到类RetryingHMSHandler实际上使用slf4j logger,是否有一种优雅的方法来克服这个问题?

0 个答案:

没有答案