我们有一个要求,我们希望基于某些事件为MapReduce作业生成多个日志文件。 event1.log
代表事件1,event2.log
代表事件2等。在作业完成后,当我们检查application_id
的汇总日志时,所有事件的日志都位于LogType:syslog
下。由于syslog可能很大,因此查找特定事件将很麻烦。一种替代方法是使用一些日志分析器工具,但是如果有更简单的方法,我们不想花费时间来建立这种工具。
我只是想知道我们是否可以为不同事件添加自定义log_file_type
。如果可能,我们可以使用命令
log_file_type
关联的日志
yarn logs -applicationId <Application ID> -log_files <log_file_type>
如果没有,还有其他选择吗?