Question

我使用Python Watchdog来监控Ubuntu上的文件夹。它可以正常使用1或2个文件，但是当我通过命令mv *.xml dest_folder移动50个文件时，它只收到2个事件并且只处理了2个文件。以下是代码。

def on_moved(self, event):
    try:
        logger.debug("on_moved event :" + str(event) )
        self._validate_xml(event.dest_path)
    except Exception as ex:
        logger.exception(ex)

如果我评论_validate_xml函数，那么我会收到所有45个事件。

任何人都可以告诉我看门狗到底发生了什么，最好的解决办法是什么？

Answer 1

我没有使用Python Watchdog，但是从通用的实时系统角度来看，

使用_validate_xml处理xml可能会很慢，并且会让您错过事件。
event =类似于中断，处理应该尽可能快。

在处理事件时，您执行的操作越多，系统的“实时”就越少。您可以做的是将xml有效性检查卸载到另一个进程，并使用Queue（消息为event.dest_path）与您看到的路径交换消息。您的事件处理就像将消息放入队列一样简单，文件可以由队列的使用者批量处理。

简而言之：

实例化Queue
fork()进程
在on_moved处理程序中，将消息放入队列，
在分叉流程中，从队列中弹出消息并调用_validate_xml。
您可以选择利用multiprocessing.Pool并行验证xml文件。

祝你好运。

编辑：在我的系统上测试过;上面的大多数评论似乎都不适用，因为看门狗的代码似乎处理threading就好了。

#!/usr/bin/env python

import time
from watchdog.observers import Observer, api
from watchdog.events import LoggingEventHandler, FileSystemEventHandler, FileMovedEvent
import logging


def counter_gen():
    count = 0
    while True:
        count += 1
        yield count

class XmlValidatorHandler(FileSystemEventHandler):
    sleep_time = 0.1
    COUNTER = counter_gen()
    def on_moved(self, event):
        if isinstance(event, FileMovedEvent):
            print '%s - event %d; validate: %s' % (
            type(self).__name__, self.COUNTER.next(), event.dest_path)
            time.sleep(self.sleep_time)

class SlowXmlValidatorHandler(XmlValidatorHandler):
    sleep_time = 2
    COUNTER = counter_gen()

def get_observer(handler):
    observer = Observer(timeout=0.5)
    observer.event_queue.maxsize=10
    observer.schedule(handler, path='.', recursive=True)
    return observer

if __name__ == "__main__":
    logging.basicConfig(level=logging.INFO)
    event_handler = LoggingEventHandler()
    observer1 = get_observer(XmlValidatorHandler())
    observer2 = get_observer(SlowXmlValidatorHandler())
    observer1.start()
    observer2.start()
    try:
        while True:
            time.sleep(1)
    except KeyboardInterrupt:
        observer1.stop()
        observer2.stop()
    observer1.join()
    observer2.join()

无法重现您的问题。一些指示：

检查队列maxsize，如果您已经有项目并且没有得到及时处理，那么我的猜测就是timeout开始了event迷路了。在这种情况下，您可能希望调整大小。
选中timeout，如果已配置，则可能需要调整该参数。

也许更完整的代码段可以帮助我们。

Python Watchdog问题 - 缺少事件

1 个答案: