每当我尝试通过dataframeReader读取hdfs中的文件时,我的namenode都会记录一条警告:
WARN org.apache.hadoop.security.UserGroupInformation:
PriviledgedActionException as:testuser (auth:SIMPLE)
cause:org.apache.hadoop.security.AccessControlException: Permission denied:
user=testuser, access=EXECUTE, inode="(Ancestor /user/testuser/testfile
is not a directory).
我的代码中没有做任何特别的事情。我只是用dataframereader读取文件:
val schema = ScalaReflection.schemaFor[Entity].dataType.asInstanceOf[StructType]
val ds = dataFrameReader.schema(schema).load("hdfs://namenode/user/testuser/testfile").as[Entity]
我也在spark.log中遇到以下错误:
WARN streaming.FileStreamSink: Error while looking for metadata directory.
我不确定这两个警告之间是否存在关联,但两者似乎都很奇怪。它们也不会影响我的申请。应用程序仍在正常运行。
谢谢,我希望你能帮忙