使用纱簇模式时无法访问Hive表

时间:2019-03-16 17:21:35

标签: apache-spark hive kerberos cloudera cloudera-cdh

我已经启用了kerbores Cloudera集群。当我使用客户端部署模式时,Spark可以访问Hive表。

我执行了kinit命令,然后执行了spark2-submit。当我使用客户端模式时,Spark可以访问Hive表。

spark2-submit --master yarn --deploy-mode client  --keytab XXXXXXXXXX.keytab --principal XXXXXXXXXXX@USER.COM  --conf "spark.driver.extraJavaOptions=-XX:+UseG1GC -XX:MaxPermSize=1024M -Djava.security.krb5.conf=/etc/krb5.conf" test.jar 

但是当我使用集群模式时,spark会给出未找到表的错误。

spark2-submit --master yarn --deploy-mode cluster  --keytab XXXXXXXXXX.keytab --principal XXXXXXXXXXX@USER.COM  --conf "spark.driver.extraJavaOptions=-XX:+UseG1GC -XX:MaxPermSize=1024M -Djava.security.krb5.conf=/etc/krb5.conf" test.jar 

0 个答案:

没有答案