假设我的yarn.nodemanager.log.retain-seconds
设置为2天,我的纱线日志聚合已关闭,因此每个生成的日志都保留在本地文件系统中。如果我有一个长期工作,即Spark Streaming继续运行超过2天会发生什么?即使Spark Streaming作业继续运行,是否会从本地文件系统中删除日志?
上述方案的网络信息不多,而在yarn-site.xml配置中,yarn.node.manager.log.retain-seconds
仅被描述为Time in seconds to retain user logs. Only applicable if log aggregation is disabled
。