当我尝试编写通过在oozie中使用hive上下文查询配置单元而获得的数据帧时,我得到以下异常。可能是什么问题
{{1}}
答案 0 :(得分:1)
这是因为Oozie在启动Spark动作之前已经获得了代表令牌。
解决方案是通过将以下内容添加到workflow.xml中的spark操作中来要求Spark不再获取委托令牌:
<spark-opts>--conf spark.yarn.security.tokens.hive.enabled=false</spark-opts>
答案 1 :(得分:0)
以上分析是正确的,但是该解决方案对我不起作用。相反,也可以告诉spark忽略oozie已经请求的令牌,这对我来说是成功的:
product_quantity_ordered