Question

我需要在json中准备一个日志配置文件，根据我的app中所有模块的时间，大小和压缩文件旋转它（我现在卡住了）。我想使用sigle json配置文件来执行此操作，这是我当前的文件，但此配置仅按时间轮换：

{
    "version": 1,
    "disable_existing_loggers": false,
    "formatters": {
        "simple": {
            "format": "%(asctime)s - %(name)s - %(levelname)s - %(message)s",
            "datefmt": "%Y-%m-%d %H:%M:%S"
        }
    },

    "handlers": {
        "my_rotate": {
            "level": "DEBUG",
            "class": "logging.handlers.TimedRotatingFileHandler",
            "formatter": "simple",
            "when": "D",
            "interval": 1,
            "backupCount": 5,
            "filename": "/var/log/test.log",
            "encoding": "utf8"
        }
    },

    "loggers": {
        "my_module": {
            "level": "DEBUG",
            "handlers": ["my_rotate"]
        }
    },

    "root": {
        "level": "DEBUG",
        "handlers": ["my_rotate"],
        "propagate": false
    }
}

如果我在处理程序部分（logging.handlers.RotateFileHandler）中添加其他处理程序以按大小旋转，结果日志文件将复制al消息。

我的主程序使用以下方式获取记录器属性：

config_json_file = open(os.path.join(os.path.dirname(os.path.realpath(__file__)), "logging.json"))
logging_data = json.load(config_json_file)
logging.config.dictConfig(logging_data)

我的模块调用记录器，如：

class StoreData(object):
    def __init__(self):
        self.logger = logging.getLogger(__name__)

如何在此文件中混合我的三个要求（按大小和时间旋转，并压缩旋转的文件）？

非常多！

更新1

正如@Bakuriu所建议的，我创建了一个新类来覆盖所需的方法，以便能够压缩旋转的文件：

class MyRotatingFileHandler(logging.handlers.TimedRotatingFileHandler):
    """ My rotating file hander to compress rotated file """

    def __init__(self, **kwargs):
        logging.handlers.TimedRotatingFileHandler.__init__(self, **kwargs)

    def rotate(self, source, dest):
        """ Compress rotated log file """
        os.rename(source, dest)
        f_in = open(dest, 'rb')
        f_out = gzip.open("%s.gz" % dest, 'wb')
        f_out.writelines(f_in)
        f_out.close()
        f_in.close()
        os.remove(dest)

所以＆＃34;新＆＃34; class被称为fron logging配置文件，我添加了一个新的处理程序：

"handlers": {
    "my_rotate": {
        "level": "DEBUG",
        "class": "myMainPackage.MyRotatingFileHandler",
        "formatter": "simple",
        "when": "D",
        "interval": 1,
        "backupCount": 5,
        "filename": "/var/log/test.log",
        "encoding": "utf8"
}

在下一次更新中，我将添加一个方法来覆盖所需的方法，并能够将时间和文件大小的旋转混合在一起。

更新2

嗯，我已经超越了＃34; shouldRollover＆＃34;方法，因此我将时间和文件大小混合起来进行轮换。

class MyRotatingFileHandler(logging.handlers.TimedRotatingFileHandler):
        """ My rotating file hander to compress rotated file """
        def __init__(self, filename, mode='a', maxBytes=0, backupCount=0, encoding=None,
                     delay=0, when='h', interval=1, utc=False):
            if maxBytes > 0:
                mode = 'a'
            logging.handlers.TimedRotatingFileHandler.__init__(
                self, filename, when, interval, backupCount, encoding, delay, utc)
            self.maxBytes = maxBytes
            self.backupCount = backupCount

        def shouldRollover(self, record):
            """ Determine if rollover should occur. """
            # Check rollover by size
            if self.stream is None:                 # delay was set...
                self.stream = self._open()
            if self.maxBytes > 0:                   # are we rolling over?
                msg = "%s\n" % self.format(record)
                self.stream.seek(0, 2)  #due to non-posix-compliant Windows feature
                if self.stream.tell() + len(msg) >= self.maxBytes:
                    return 1
            # Check rollover by time
            t = int(time.time())
            if t >= self.rolloverAt:
                return 1
            return 0

        def rotate(self, source, dest):
            """ Compress rotated log file """
            os.rename(source, dest)
            f_in = open(dest, 'rb')
            f_out = gzip.open("%s.gz" % dest, 'wb')
            f_out.writelines(f_in)
            f_out.close()
            f_in.close()
            os.remove(dest)

并在json中修改我的日志配置文件以按日轮换时间，但在几秒钟内检查...这意味着 86400s （一天中的秒数）和 5Mb的大小限制：

"handlers": {
        "my_rotate_timed": {
            "level": "DEBUG",
            "class": "myMainPackage.MyRotatingFileHandler",
            "formatter": "simple",
            "when": "S",
            "interval": 86400,
            "backupCount": 5,
            "maxBytes": 5242880,
            "filename": "/var/log/test.log",
            "encoding": "utf8"
    }

这种方式重用了TimedRotationFileHandler中的其他方法，如果 maxBytes 调用了旋转，那么它将使用从 init 继承的秒数TimedRotationFileHandler方法，格式为：＆＃34;％Y-％m-％d_％H-％M-％S＆＃34; 。这就是我使用的原因＆＃34; {when =＆＃34; S＆＃34;，interval = 86400}＆＃34;而不是＆＃34; {when =＆＃34; D＆＃34;，interval = 1}＆＃34;

Answer 1

这是可以预料的。如果你添加一个处理程序，这个处理程序要么不会产生消息（由于过滤），所以什么都不会改变，或者它会写出这些消息（因此重复它们）。

TimedRotatingFileHandler和RotatingFileHandler仅支持，分别按时间和大小旋转。不是两个在同一时间。

AFAIK 没有内置的方式来实现您想要的功能，因此只使用配置文件就无法实现您想要的功能，您拥有编写一些东西来组合功能。

考虑阅读如何在Logging Cookbook中创建新的旋转处理程序。如果将此处理程序类保存在文件mypackage.myrotatinghandler中，则可以指定：

class: 'mypackage.myrotatinghandler.MyHandler'

在配置文件中。

请注意，要在保存文件时添加压缩，只需使用保存压缩文件的函数设置旋转处理程序的rotator属性即可。取自上面的链接：

def namer(name):
    return name + ".gz"

def rotator(source, dest):
    with open(source, "rb") as sf:
        data = sf.read()
        compressed = zlib.compress(data, 9)
        with open(dest, "wb") as df:
            df.write(compressed)
    os.remove(source)

rh = logging.handlers.RotatingFileHandler(...)
rh.rotator = rotator
rh.namer = namer

rh处理程序将表现为正常RotatingFileHandler，但也会压缩日志。

但是，设置旋转条件需要重写部分处理程序。您可以阅读logging.handlers模块的源代码，了解内置处理程序的实现方式。

如何在同一个配置文件中混合使用日志处理程序（File＆amp; Timed）和压缩日志？

1 个答案: