我已经启用了kerbores Cloudera集群。当我使用客户端部署模式时,Spark可以访问Hive表。
我执行了kinit命令,然后执行了spark2-submit。当我使用客户端模式时,Spark可以访问Hive表。
spark2-submit --master yarn --deploy-mode client --keytab XXXXXXXXXX.keytab --principal XXXXXXXXXXX@USER.COM --conf "spark.driver.extraJavaOptions=-XX:+UseG1GC -XX:MaxPermSize=1024M -Djava.security.krb5.conf=/etc/krb5.conf" test.jar
但是当我使用集群模式时,spark会给出未找到表的错误。
spark2-submit --master yarn --deploy-mode cluster --keytab XXXXXXXXXX.keytab --principal XXXXXXXXXXX@USER.COM --conf "spark.driver.extraJavaOptions=-XX:+UseG1GC -XX:MaxPermSize=1024M -Djava.security.krb5.conf=/etc/krb5.conf" test.jar