如何在pyspark集群模式下使用requests_kerberos模块解决401授权错误

时间:2019-05-28 07:57:49

标签: pyspark python-requests kerberos

我有一个pyspark程序,其spark-submit在客户端模式或直接在pyspark shell中运行良好,但是在pyspark --master Yarn --deployment-mode集群配置中运行时,失败并显示401授权错误。

尝试从URL提取json内容时,

脚本失败,给出401未经授权错误。

程序可以在客户端模式下正常运行,它使用request_kerberos模块的HTTPKerberosAuth函数。

有人可以指导集群模式下这里缺少什么吗?

0 个答案:

没有答案