使用Spark中的dataframereader读取时的PriviledgedActionException

时间:2018-06-02 11:10:09

标签: apache-spark apache-spark-sql

每当我尝试通过dataframeReader读取hdfs中的文件时,我的namenode都会记录一条警告:

WARN org.apache.hadoop.security.UserGroupInformation: 
PriviledgedActionException as:testuser (auth:SIMPLE) 
cause:org.apache.hadoop.security.AccessControlException: Permission denied: 
user=testuser, access=EXECUTE, inode="(Ancestor /user/testuser/testfile
is not a directory).

我的代码中没有做任何特别的事情。我只是用dataframereader读取文件:

val schema = ScalaReflection.schemaFor[Entity].dataType.asInstanceOf[StructType]

val ds = dataFrameReader.schema(schema).load("hdfs://namenode/user/testuser/testfile").as[Entity]

我也在spark.log中遇到以下错误:

WARN streaming.FileStreamSink: Error while looking for metadata directory.

我不确定这两个警告之间是否存在关联,但两者似乎都很奇怪。它们也不会影响我的申请。应用程序仍在正常运行。

谢谢,我希望你能帮忙

0 个答案:

没有答案