Question

有没有办法对属于一个Web请求的python Web应用程序的日志进行分组？

示例：

2015-02-11 13:06:32 myapp.middleware.MYAPPMiddleware: INFO     Login of user foo was successful
2015-02-11 13:06:32 myapp.middleware.MYAPPMiddleware: INFO     Login of user bar failed
2015-02-11 13:06:32 myapp.send_mails: INFO     failed to send mail to someone@example.com

上述日志行彼此无关。

你如何解决这个pythonic方式？

Answer 1

日志条目本质上是相互独立的将它们连接在一起的正确方法是在条目中包含一些上下文信息，以便稍后查看日志时进行过滤。

以下是包含此类信息的Sharepoint日志记录的示例：

Timestamp               Process             TID     Area                    Category                    EventID Level       Message     Correlation
02/26/2015 17:49:19.65  w3wp.exe (0x1F40)   0x2358  SharePoint Foundation   Logging Correlation Data    xmnv    Medium      Name=Request (POST:http://reserver2:80/pest/_vti_bin/sitedata.asmx) d1e2b688-e0b2-481e-98ce-497a11acab44

在Python logging文档中，Adding contextual information to your logging output建议使用以下两种方法之一：使用LoggerAdapter或Filter。

像这样使用

LoggerAdapter（示例基于文档中的示例）：

class AddConnIdAdapter(logging.LoggerAdapter):
    def process(self, msg, kwargs):
        return <augment_message(msg,arbitrary_info)>, kwargs
la = AddConnIdAdapter(<logger>,extra=<parameters, saved in self.extra>)
<...>
la.info(<message>)

Filter的使用方式如下：

#Either all messages should have custom fields
# or the Formatter used should support messages
# both with and without custom fields
logging.basicConfig(<...>,format='%(asctime)-15s %(name)-5s %(levelname)-8s IP: %(ip)-15s User: %(user)-8s %(message)s')
class AddClientInfo(logging.Filter):
    #override __init__ or set attributes to specify parameters
    def filter(self, record):
        record.ip = <get_client_ip()>
        record.user = <get_client_name()>
        return True    #do not filter out anything
l=<logger()>
l.addFilter(AddClientInfo()) #can attach to either loggers or handlers
<...>
l.info('message')

正如您所看到的，差异是LoggerAdapter是不透明的，而Filter是透明的。在示例中，前者修改消息文本，而后者设置自定义属性（实际上编写它们需要使用Formatter的合作）但实际上，两者都可以同时执行。{/ p>

因此，如果您只需要将某些消息的上下文添加到某些消息中，前者更有用，而后者更适合扩充所记录消息的全部或大部分消息。

Answer 2

您可以在init方法中为每个请求分配随机UUID，并将其添加到所有日志消息中。

例如，在Tornado中：

class MainRequestHandler(RequestHandler):
    def __init__(self, application, request):
        super(MainRequestHandler, self).__init__(application, request)
        self.uuid = uuid.uuid4()
        logging.info("%s | %s %s %s",
                     self.uuid,
                     request.method,
                     request.full_url(),
                     request.remote_ip)

结果，您将能够通过此UUID grep log来查找属于单独请求的所有消息。

Python日志记录：属于一个请求的组日志

2 个答案: