hadoop streaming：如何查看应用程序日志？

Question

我可以在/usr/local/hadoop/logs路径

上看到所有hadoop日志

但我在哪里可以看到应用程序级日志？例如：

mapper.py

import logging

def main():
    logging.info("starting map task now")
    // -- do some task -- //
    print statement  

reducer.py

import logging
def main():
    for line in sys.stdin:
        logging.info("received input to reducer - " + line)  
        // -- do some task -- //
        print statement

我可以在哪里看到logging.info或我申请的相关日志声明？ 我正在使用Python并使用hadoop-streaming

谢谢

Answer 1

Hadoop收集stderr，可以在hadoop map / reduce状态站点上查看。所以你可以写信给stderr。

Answer 2

Hadoop流使用STDIN/STDOUT传递映射器和缩减器之间的键/值对，因此必须将日志消息写入特定的日志文件 - 检查sample code和{{3 }} 更多细节。这个python logging documentation也可能会有所帮助。