默认情况下,YARN在应用程序完成后聚合日志。但是我正在尝试汇总火花流作业的日志,该日志理论上将永远运行。我为emr群集上的核心和任务节点重新启动hadoop-yarn-nodemanager
,为主节点重新启动hadoop-yarn-resourcemanager
,为日志聚合和重新启动yarn设置了以下属性。我可以在http://node-ip:8088/conf中查看自己的更改。
yarn.log-aggregation-enable => true
yarn.log-aggregation.retain-seconds => 172800
yarn.log-aggregation.retain-check-interval-seconds => -1
yarn.nodemanager.log-aggregation.roll-monitoring-interval-seconds => 3600
仅提及了所有文章和资源,包括yarn.nodemanager.log-aggregation.roll-monitoring-interval-seconds
属性,yarn将开始聚合运行作业的日志。但这对我来说不起作用。