在同一纱线会话中运行时,单独的flink作业的日志文件

时间:2019-03-13 11:41:04

标签: yarn apache-flink

当我们在一个纱线会话中运行多个flink作业时。我们发现日志  所有作业均被写入同一文件“ taskmanager.log”,这对于我们很难检查特定作业的日志。有什么方法可以将它们分开吗?

除此之外,如果我们的flink作业长时间运行,如何根据日期分隔日志文件?

1 个答案:

答案 0 :(得分:0)

据我所知,除了为每个作业运行单独的群集之外,没有任何其他方法可以为一个作业分隔日志。而且,很多记录并不是真正针对特定工作的。

要设置日志轮转,可以将以下内容放在flink / conf目录的log4j.properties文件中:

log4j.appender.file=org.apache.log4j.RollingFileAppender 
log4j.appender.file.File=${log.file} log4j.appender.file.MaxFileSize=1000MB 
log4j.appender.file.MaxBackupIndex=0 log4j.appender.file.append=false 
log4j.appender.file.layout=org.apache.log4j.PatternLayout 
log4j.appender.file.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss,SSS} %-5p %-60c %x - %m%n