检查用python编写的hive udf中的错误

时间:2017-10-18 19:43:37

标签: python hadoop hive mapreduce hiveql

我使用python编写了一个hive udf但是在使用udf运行我的查询时。我在日志中收到以下错误 -

  

错误:java.lang.RuntimeException:关闭时Hive运行时错误   operator:[Error 20003]:尝试关闭时发生错误   运营自定义脚本的运营商。

如何检查我的python脚本分解的错误,因为map reduce日志只显示作业中的错误,如上所示。

1 个答案:

答案 0 :(得分:0)

尝试使用UDF执行查询

hive --hiveconf hive.root.logger=DRFA --hiveconf hive.log.dir=./logs --hiveconf hive.log.level=DEBUG -e "query"

并检查在logs文件夹中创建的日志文件。这将是详细的日志。执行命令之前,请确保日志文件夹存在。