标签： hadoop splunk
我在Splunk中查看Hadoop日志输出。我想看看哪些键被分配给每个reducer。这些信息是由Hadoop记录的吗？我应该在查询中使用哪些关键字来查找相关的日志行？
答案 0 :(得分：1)
简短的回答是：不，减少器记录与处理的键或值无关。
在BigData中记录信息不是一个好主意，因为日志行的数量可能非常非常大。
如果您正在使用少量数据运行某些测试，则可以在reducer中包含一些 System.out.println 行，但在开始处理大量数据时请注意不要让它们出现