了解从频道阅读的行为

时间:2018-05-02 02:08:22

标签: go concurrency channel goroutine inotify

我正在尝试编写一个使用inotify来观看文件的程序,如果文件被删除,请删除观察者并设置新的观察者。我试过的代码是

func main() {
    fsNotifyChan := make(chan fsnotify.Event)
    inotify.CreateWatcher() // code included below
    wg := new(sync.WaitGroup)
    wg.Add(1)
    go func() {
        for i := range fsNotifyChan {
            time.Sleep(time.Second * 5)
            fmt.Println(i)
            inotify.CreateWatcher()
            inotify.SetNewWatcher(i.Name, fsNotifyChan)
        }
    }()

    for k := range parsedConf{
        go inotify.SetNewWatcher(k, fsNotifyChan)
    }

    wg.Wait()
}

其中k是地图,而密钥是指向2个文件/var/log/syslog/var/log/auth.log的路径。

我用来创建inotify观察器的函数是

package inotify
var Watcher *fsnotify.Watcher
var err error

func CreateWatcher () {
    Watcher, err = fsnotify.NewWatcher()
    if err != nil {
        log.Fatal(err)
    }
}

func SetNewWatcher(filepath string, c chan fsnotify.Event) {
    log.Infoln("Setting Watcher for ", filepath)

    defer Watcher.Close()
    wg := new(sync.WaitGroup)
    wg.Add(1)
    go func() {
        for {
            select {
            case event := <-Watcher.Events:
                log.Debugln("event:", event)
                if event.Op&fsnotify.Rename == fsnotify.Rename {
                    log.Infoln(event)
                    removeWatcher(filepath)
                    c <- event
                    wg.Done()
                    runtime.Goexit()
                } else if event.Op&fsnotify.Remove == fsnotify.Remove {
                    log.Infoln(event)
                    removeWatcher(filepath)
                    c <- event
                    wg.Done()
                    runtime.Goexit()

                }
            case err := <-Watcher.Errors:
                log.Errorln("error:", err)
                removeWatcher(filepath)
                wg.Done()
                runtime.Goexit()

            }
        }
        wg.Done()
    }()

    err = Watcher.Add(filepath)
    if err != nil {
        log.Fatal(err)
    }
    wg.Wait()
}

func removeWatcher(filename string) {
    err := Watcher.Remove(filename)
    log.Debugln("Removed watcher for", filename)
    if err != nil {
        log.Errorln(err)
    }
}

我看到的问题是当我开始运行程序时,

首先输出:

iNotifier.go:18: INFO: Setting Watcher for  /var/log/auth.log
iNotifier.go:18: INFO: Setting Watcher for  /var/log/syslog

然后在像echo hi | sudo tee -a /var/log/syslog这样的sudo命令之后 我可以看到

iNotifier.go:27: DEBUG: event: "/var/log/auth.log": WRITE
iNotifier.go:27: DEBUG: event: "/var/log/auth.log": WRITE
iNotifier.go:27: DEBUG: event: "/var/log/syslog": WRITE

现在完全没问题。

现在,如果我尝试移动系统日志并将其作为

重新放回
➜  bin sudo mv /var/log/syslog /var/log/syslog.bak
➜  bin sudo mv /var/log/syslog.bak /var/log/syslog

或删除文件本身并触摸一个新文件。

输出看起来像

iNotifier.go:27: DEBUG: event: "/var/log/auth.log": WRITE
iNotifier.go:27: DEBUG: event: "/var/log/auth.log": WRITE
iNotifier.go:27: DEBUG: event: "/var/log/syslog": RENAME
iNotifier.go:29: INFO: "/var/log/syslog": RENAME
iNotifier.go:63: DEBUG: Removed watcher for /var/log/syslog
iNotifier.go:43: ERROR: error: <nil>
iNotifier.go:63: DEBUG: Removed watcher for /var/log/auth.log
iNotifier.go:65: ERROR: bad file descriptor
"/var/log/syslog": RENAME
iNotifier.go:18: INFO: Setting Watcher for  /var/log/syslog

其中iNotifier.go:65: ERROR: bad file descriptor可能因文件已被移动而导致,然后goroutine将以runtime.Goexit()退出

现在,如果我执行相同的sudo命令echo hi | sudo tee -a /var/log/syslog, 我只能从syslog文件中看到一个inotify输出,而不是从authlog文件中看到,尽管事情是在那里写的。

iNotifier.go:27: DEBUG: event: "/var/log/syslog": WRITE

如果我再次移动文件并再次将其移回,我将不再收到任何通知。

iNotifier.go:27: DEBUG: event: "/var/log/syslog": WRITE
iNotifier.go:27: DEBUG: event: "/var/log/syslog": RENAME
iNotifier.go:29: INFO: "/var/log/syslog": RENAME
iNotifier.go:63: DEBUG: Removed watcher for /var/log/syslog

这是最后一次输出。任何更多的文件操作,我没有看到任何输出。我知道这可能是我如何使用通道应该使用的方式的逻辑错误。我没有明确关闭频道,我在进一步的迭代中再次传递它。有人可以帮我理解我在这里做错了什么吗?

1 个答案:

答案 0 :(得分:0)

尝试了几个选项后,我找到了另一个notify库。显然,这个库没有根据路径名单独关闭观察者的选项,但只能通过关闭频道来完成。因此,我最终为每个需要观看的文件创建了一个频道,并创建了一个与文件到频道相关的地图,并在需要时关闭与该文件相关的频道并重新打开。代码段是

var fileMapChan map[string]chan notify.EventInfo
func main() {


    fileMapChan = make(map[string]chan notify.EventInfo)
    commonNotificationChan := make(chan string, 2048)
    for k := range parsedConf {
        c := make(chan notify.EventInfo, 2048)
        fileMapChan[k] = c
    }
    wg := new(sync.WaitGroup)
    //Create new watcher for every file
    for k, v := range fileMapChan {
        wg.Add(2)
        poller.SetNewNotifier(k, v)
        go poller.ReadChanAndFilter(v, commonNotificationChan, wg)
        go poller.FileStat(k, commonNotificationChan, wg)
    }

==============snip ✂ snip=============

func SetNewNotifier(filepath string, c chan notify.EventInfo) error{
    log.Infoln("Setting new notifier to", filepath)
    if err := notify.Watch(filepath, c, notify.All); err != nil {
        log.Errorln(err)
        return err
    }
    return nil
}

func ReadChanAndFilter(r chan notify.EventInfo, w chan<- string, wg *sync.WaitGroup) {
    for i := range r {
        log.Debugln(i.Event(), "on", i.Path())
        if i.Event()&notify.Rename == notify.Rename {
            log.Infoln(i.Path(), "renamed")
            w <- i.Path()
            close(r)
            notify.Stop(r)
            runtime.Goexit()
        }

    }
    defer wg.Done()
}

我不知道这是否是最好的方法,但这对我有用。每当移动文件时,它都会重新添加观察者。

谢谢。