Question

我在HDP 2.1群集上安装了spark 1.5.1进程。哪个使用hadoop 2.4.0，并且我有权限在驱动程序尝试写入给定的Hive表时拒绝了问题。

提交作业的用户是gvp_service，在作业期间，他们的工作人员可以使用gvp_service权限进行编写，但在与Metastore交互时，我收到以下异常：

引起：org.apache.hadoop.ipc.RemoteException（org.apache.hadoop.security.AccessControlException）：权限被拒绝：user = yarn，access = WRITE，inode =＆＃34; / apps / hive / warehouse /gbic_video_video.db/gbic_video_video_raw_users/global_op_id=1000/service_type=1/day=2015-09-15":gvp_service:hdfs:drwxr-xr-x 在org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkFsPermission（FSPermissionChecker.java:265）

为什么使用纱线用户执行此任务？它是否应该使用Hadoop客户端2.4.0？

Answer 1

您可以检查作业是以哪个用户身份提交的吗？要与hive进行交互，您应该在$ SPARK_INSTALL_DIR / conf中使用“hive-site.xml”，内容如下

<configuration>
<property>
  <name>hive.metastore.uris</name>
  <!-- Ensure that the following statement points to the Hive Metastore URI in your cluster -->
  <value>thrift://<METASTORE IP>:9083</value>
  <description>URI for client to contact metastore server</description>
</property>
</configuration>

希望这有帮助

火花纱簇的许可问题

1 个答案: