Question

我在跑步时遇到一些困难＆＃34;标准＆＃34;猪教程 - pig script1-hadoop.pig

但是，由于集群设置（用户），我不得不稍微修改一个例子。标准教程需要HDFS的/上的所有文件，在我的情况下我不能使用，所以我为此创建了/pig目录

drwxrwxrwx   - hdfs   hdfs          0 2014-03-31 11:15 /pig

上传内容

-rw-r--r--   3 jakub hdfs   10408717 2014-03-31 10:41 /pig/excite.log.bz2

我还修改了pig脚本 script1-hadoop.pig ，以便按照以下方式对这些更改进行修改（主要仅用于加载和存储命令）：

raw = LOAD '/pig/excite.log.bz2' USING PigStorage('\t') AS (user, time, query);
...
STORE ordered_uniq_frequency INTO '/pig/script1-hadoop-results' USING PigStorage();

我运行猪脚本：

[jakub@hadooptools pigtmp]$ pig script1-hadoop.pig

但没有运气并且收到错误：

2014-03-31 10:15:11,896 [main] ERROR org.apache.pig.tools.grunt.Grunt - You don't have permission to perform the operation. Error from the server: Permission denied: user=jakub, access=WRITE, inode="/":hdfs:hdfs:drwxr-xr-x
    at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:234)
    at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:214)
    at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:158)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkPermission(FSNamesystem.java:5202)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkPermission(FSNamesystem.java:5184)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkAncestorAccess(FSNamesystem.java:5158)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInternal(FSNamesystem.java:3405)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInt(FSNamesystem.java:3375)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:3349)
    at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.mkdirs(NameNodeRpcServer.java:724)
    at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.mkdirs(ClientNamenodeProtocolServerSideTranslatorPB.java:502)
    at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java:59598)
    at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:585)
    at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:928)
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2053)
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2049)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491)
    at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2047)

我不太清楚为什么PIG脚本试图在HDFS上写入/。我知道PIG可以在HDFS上存储一些立即结果，因此我修改了pig.temp.dir属性（/etc/pig/conf/pig.properties）并在HDFS上创建了位置/pig/tmp

drwxrwxrwx   - jakub hdfs          0 2014-03-31 11:15 /pig/tmp

知道可能出错的是什么？猪在本地模式下没问题。

Answer 1

排序。

用户运行Pig脚本必须具有写入tmp目录的权限，并且/ user / pig_user_running必须存在于群集上，并且具有允许他在那里写入的权限。 HDFS上的超级用户是运行namenode进程的用户，它是典型的HDFS。

运行Apache Pig教程问题

1 个答案: