Question

我在shell驱动程序脚本中的spark-submit之前调用kinit keytab。问题是，它自己工作，但当我通过Oozie调用shell驱动程序时，我收到了这个错误：

Stdoutput py4j.protocol.Py4JJavaError: An error occurred while calling 
o49.saveAsTextFile.
Stdoutput : org.apache.hadoop.ipc.RemoteException(java.io.IOException): 
Delegation Token can be issued only with kerberos or web authentication

问题可能就在这里

file.coalesce(1,True).saveAsTextFile(FQDNofHadoop+output)

编辑：我的剧本是：kinit -k -t /home/me/me.keytab me@DOMAIN.HAD

编辑：工作解决方案：

我用过

spark-submit --principal 'me@DOMAIN.HAD' \ --keytab '/home/me/me.keytab' \

在oozie中执行pyspark脚本没有错误（甚至写入hive表等）。 Log4j记录器没有工作（它使用独立脚本），但至少print（）（stdout到yarn日志中）是...

THX

Answer 1

我使用了--principal'me@DOMAIN.HAD'\ --keytab'/ home / me / me.keytab'\并且执行pyspark脚本没有错误（甚至写入hive表等）。记录器不起作用，但至少print（）是......

Spark 1.6.Token只能通过kerberos或web身份验证发布

1 个答案: