我正在使用spark-submit在Yarn上启动spark应用。它失败，带有用于启动spark.app的密钥表的以下堆栈跟踪的leaseExpiredException。群集已启用Kerberos和Wandisco。关于什么原因的任何想法？在wandisco中禁用了对所有隐藏文件夹的复制。因此，/ user / ck / .sparkStaging在wandisco中未启用复制。
线程“ main”中的异常19/02/27 11:20:32错误hdfs.DFSClient：无法关闭inode 1499015670 org.apache.hadoop.ipc.RemoteException（org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException）：/user/ck/.sparkStaging/application_1551278166756_0297/abc.keytab（索引节点1499015670）上没有租约：文件不存在。持有人DFSClient_NONMAPREDUCE_-1650244877_1没有任何打开的文件。 在org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkLease（FSNamesystem.java:3521） 在org.apache.hadoop.hdfs.server.namenode.FSNamesystem.completeFileInternal（FSNamesystem.java:3611） 在org.apache.hadoop.hdfs.server.namenode.FSNamesystem.completeFile（FSNamesystem.java:3578） 在org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.complete（NameNodeRpcServer.java:905） 在org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.complete（ClientNamenodeProtocolServerSideTranslatorPB.java:544） 在org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos $ ClientNamenodeProtocol $ 2.callBlockingMethod（ClientNamenodeProtocolProtos.java） 在org.apache.hadoop.ipc.ProtobufRpcEngine $ Server $ ProtoBufRpcInvoker.call（ProtobufRpcEngine.java:640） 在org.apache.hadoop.ipc.RPC $ Server.call（RPC.java:982） 在org.apache.hadoop.ipc.Server $ Handler $ 1.run（Server.java:2313） 在org.apache.hadoop.ipc.Server $ Handler $ 1.run（Server.java:2309） 在java.security.AccessController.doPrivileged（本机方法） 在javax.security.auth.Subject.doAs（Subject.java:422） 在org.apache.hadoop.security.UserGroupInformation.doAs（UserGroupInformation.java:1740） 在org.apache.hadoop.ipc.Server $ Handler.run（Server.java:2307）
at org.apache.hadoop.ipc.Client.call(Client.java:1475)
at org.apache.hadoop.ipc.Client.call(Client.java:1412)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:229)
at com.sun.proxy.$Proxy13.complete(Unknown Source)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.complete(ClientNamenodeProtocolTranslatorPB.java:462)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:191)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102)
at com.sun.proxy.$Proxy14.complete(Unknown Source)
at org.apache.hadoop.hdfs.DFSOutputStream.completeFile(DFSOutputStream.java:2291)
at org.apache.hadoop.hdfs.DFSOutputStream.closeImpl(DFSOutputStream.java:2267)
at org.apache.hadoop.hdfs.DFSOutputStream.close(DFSOutputStream.java:2232)
at org.apache.hadoop.hdfs.DFSClient.closeAllFilesBeingWritten(DFSClient.java:937)
at org.apache.hadoop.hdfs.DFSClient.closeOutputStreams(DFSClient.java:969)
at org.apache.hadoop.hdfs.DistributedFileSystem.close(DistributedFileSystem.java:1076)
at com.wandisco.fs.client.FusionCommon.close(FusionCommon.java:277)
at com.wandisco.fs.client.ReplicatedFC.destroy(ReplicatedFC.java:1036)
at com.wandisco.fs.client.ReplicatedFC.removeReference(ReplicatedFC.java:1005)
at com.wandisco.fs.client.ReplicatedFC.close(ReplicatedFC.java:489)
at com.wandisco.fs.client.FusionHdfs.closeFc(FusionHdfs.java:114)
at com.wandisco.fs.client.FusionHdfs.close(FusionHdfs.java:108)
at org.apache.hadoop.fs.FileSystem$Cache.closeAll(FileSystem.java:2760)
at org.apache.hadoop.fs.FileSystem$Cache$ClientFinalizer.run(FileSystem.java:2777)
at org.apache.hadoop.util.ShutdownHookManager$1.run(ShutdownHookManager.java:54)