Question

我们有一些使用Spark-scala在EMR上运行的步骤。一切正常运行了2年，但在最近10-12天，纱线应用程序被随机关闭，该步骤无法检索已关闭的应用程序。以下是日志中的错误

ERROR ApplicationMaster: Exception from Reporter thread.
org.apache.hadoop.yarn.exceptions.ApplicationAttemptNotFoundException: Application attempt appattempt_1531902138329_0769_000004 doesn't exist in ApplicationMasterService cache.
    at 

    org.apache.hadoop.yarn.server.resourcemanager.ApplicationMasterService.allocate(ApplicationMasterService.java:439)
        at org.apache.hadoop.yarn.api.impl.pb.service.ApplicationMasterProtocolPBServiceImpl.allocate(ApplicationMasterProtocolPBServiceImpl.java:60)
        at org.apache.hadoop.yarn.proto.ApplicationMasterProtocol$ApplicationMasterProtocolService$2.callBlockingMethod(ApplicationMasterProtocol.java:99)

随机步骤会发生这种情况。在步骤运行时，我检查了服务器内存，没有太大的负载，并且有足够的存储空间。

EMR = emr-5.2.0 Spark 2.0.2

Spark应用程序缓存的AWS EMR错误

0 个答案: