如何解决"授权令牌只能用kerberos或web身份验证发布"使用Oozie在Hive上执行查询时?

时间:2017-06-05 19:30:48

标签: apache-spark hive apache-spark-sql kerberos oozie

当我尝试编写通过在oozie中使用hive上下文查询配置单元而获得的数据帧时,我得到以下异常。可能是什么问题

{{1}}

2 个答案:

答案 0 :(得分:1)

这是因为Oozie在启动Spark动作之前已经获得了代表令牌。

解决方案是通过将以下内容添加到workflow.xml中的spark操作中来要求Spark不再获取委托令牌:

<spark-opts>--conf spark.yarn.security.tokens.hive.enabled=false</spark-opts>

答案 1 :(得分:0)

以上分析是正确的,但是该解决方案对我不起作用。相反,也可以告诉spark忽略oozie已经请求的令牌,这对我来说是成功的:

product_quantity_ordered