FileSystemWatcher丢失文件

时间:2017-10-10 14:56:13

标签: c# xml filesystemwatcher

我是c#的新手,正在编写一个程序,它将使用从名为folderWatch的方法调用的fileSystemWatcher来监视.xml文件的文件夹。 .xml文件包含电子邮件地址和图像路径,一旦读取,将通过电子邮件发送。如果我一次只添加几个xml,那么我的代码工作得很好但是当我尝试将大量数据转储到文件夹中时,fileSystemWatcher并没有处理所有这些代码。请帮助我指出正确的方向。

private System.IO.FileSystemWatcher m_Watcher;
public string folderMonitorPath = Properties.Settings.Default.monitorFolder;

    public void folderWatch()
    {
        if(folderMonitorPath != "")
        {
            m_Watcher = new System.IO.FileSystemWatcher();
            m_Watcher.Filter = "*.xml*";
            m_Watcher.Path = folderMonitorPath;
            m_Watcher.NotifyFilter = NotifyFilters.LastAccess | NotifyFilters.LastWrite
                                     | NotifyFilters.FileName | NotifyFilters.DirectoryName;
            m_Watcher.Created += new FileSystemEventHandler(OnChanged);
            m_Watcher.EnableRaisingEvents = true;
        }
    }

    public void OnChanged(object sender, FileSystemEventArgs e)
    {
        displayText("File Added " + e.FullPath);
        xmlRead(e.FullPath);
    }

阅读xml

    public void xmlRead(string path)
    {

        XDocument document = XDocument.Load(path);
        var photo_information = from r in document.Descendants("photo_information")
                                select new
                                {
                                    user_data = r.Element("user_data").Value,
                                    photos = r.Element("photos").Element("photo").Value,
                                };
        foreach (var r in photo_information)
        {
            if (r.user_data != "")
            {
                var attachmentFilename = folderMonitorPath + @"\" + r.photos;
                displayText("new user data " + r.user_data);
                displayText("attemting to send mail");
                sendemail(r.user_data, attachmentFilename);
            }
            else
            {
                displayText("no user data moving to next file");
            }
        }

发送邮件

public void sendemail(string email, string attachmentFilename)
    {
        //myTimer.Stop();

            MailMessage mail = new MailMessage();
            SmtpClient SmtpServer = new SmtpClient(smtpClient);

            mail.From = new MailAddress(mailFrom);
            mail.To.Add(email);
            mail.Subject = "test";
            mail.Body = "text";

            SmtpServer.Port = smtpPort;
        SmtpServer.Credentials = new System.Net.NetworkCredential("username", "password");
        SmtpServer.EnableSsl = true;
        // SmtpServer.UseDefaultCredentials = true;

        if (attachmentFilename != null)
            {
                Attachment attachment = new Attachment(attachmentFilename, MediaTypeNames.Application.Octet);
                ContentDisposition disposition = attachment.ContentDisposition;
                disposition.CreationDate = File.GetCreationTime(attachmentFilename);
                disposition.ModificationDate = File.GetLastWriteTime(attachmentFilename);
                disposition.ReadDate = File.GetLastAccessTime(attachmentFilename);
                disposition.FileName = Path.GetFileName(attachmentFilename);
                disposition.Size = new FileInfo(attachmentFilename).Length;
                disposition.DispositionType = DispositionTypeNames.Attachment;
                mail.Attachments.Add(attachment);
            }
        try
        {
            SmtpServer.Send(mail);
            displayText("mail sent");
        }
        catch (Exception ex)
        {
           displayText(ex.Message);

        }

    }

3 个答案:

答案 0 :(得分:2)

首先,FileSystemWatcher内部有限buffer来存储待处理通知。根据文件:

  

系统通知组件文件更改,并存储这些更改   组件创建的缓冲区中的更改并传递给API。每   事件最多可以使用16个字节的内存,不包括文件名。   如果在短时间内有许多变化,缓冲区可能会溢出。   这会导致组件无法跟踪目录中的更改

您可以通过将InternalBufferSize设置为64 * 1024(64KB,允许的最大值)来增加该缓冲区。

下一步(也许更重要的)是如何清除此缓冲区。您的OnChanged处理程序被调用,并且只有在它完成时才会从该缓冲区中删除通知。这意味着如果你在处理程序中做了很多工作 - 缓冲区有更高的溢出机会。为避免这种情况 - 在OnChanged处理程序中尽可能少地完成工作,并在单独的线程中执行所有繁重的工作(例如,不是生产就绪代码,仅用于插图目的):

var queue = new BlockingCollection<string>(new ConcurrentQueue<string>());
new Thread(() => {
    foreach (var item in queue.GetConsumingEnumerable()) {
        // do heavy stuff with item
    }
}) {
    IsBackground = true
}.Start();
var w = new FileSystemWatcher();
// other stuff
w.Changed += (sender, args) =>
{
    // takes no time, so overflow chance is drastically reduced
    queue.Add(args.FullPath);
};

您还没有订阅Error FileSystemWatcher事件,因此您不知道何时(以及是否)出现问题。

答案 1 :(得分:0)

FSW的文档警告说,如果事件处理时间过长,某些事件可能会丢失。这就是为什么它总是与队列和/或后台处理一起使用。

一种选择是使用Task.Run在后台执行处理:

public void OnChanged(object sender, FileSystemEventArgs e)
{
    _logger.Info("File Added " + e.FullPath);
    Task.Run(()=>xmlRead(e.FullPath));
}

请注意,我使用的是日志而不是displayText。您无法从另一个线程访问UI线程。如果要记录进度,请使用日志记录库。

您还可以使用IProgress< T>界面报告长时间运行的作业的进度,或者您希望通过它发布的任何其他内容。 Progress< T>实现负责将进度对象封送到它的父线程,通常是UI线程。

一个更好的更好的解决方案是使用ActionBlock< T>。 ActionBlock有一个可以对传入消息进行排队的输入缓冲区和一个允许您指定可以同时执行多少操作的DOP设置。默认值为1:

ActionBlock<string> _mailerBlock;

public void Init()
{
    var options=new ExecutionDataflowBlockOptions { 
        MaxDegreeOfParallelism = 5
     };
    _mailerBlock = new ActionBlock<string>(path=>xlmRead(path),options);
}

public void OnChanged(object sender, FileSystemEventArgs e)
{
    _logger.Info("File Added " + e.FullPath);
    _mailerBlock.Post(e.FullPath);
} 

更好的是,您可以创建不同的块来进行阅读和发送电子邮件,并将它们连接到管道中。在这种情况下,文件阅读器会生成大量电子邮件,这意味着需要TransformManyBlock

class EmailInfo 
{ 
    public string Data{get;set;}
    public string Attachement{get;set;}
}


var readerBlock = new TransformManyBlock<string,EmailInfo>(path=>infosFromXml(path));

var mailBlock = new ActionBlock<EmailInfo>(info=>sendMailFromInfo(info));

readerBlock.LinkTo(mailBlock,new DataflowLinkOptions{PropagateCompletion=true});

应将xmlRead方法更改为迭代器

public IEnumerable<EmailInfo> infosFromXml(string path)
{
    // Same as before ...
    foreach (var r in photo_information)
    {
        if (r.user_data != "")
        {
            ...
            yield return new EmailInfo{
                      Data=r.user_data, 
                      Attachment=attachmentFilename};
        }
       ...
    }
}

sendmail来:

public void sendMailFromInfo(EmailInfo info)
{
    string email=info.Data;
    string attachmentFilename=info.Attachment;
}

如果要终止管道,请在头部块上调用Complete()并等待尾部完成。这可确保处理所有剩余文件:

readerBlock.Complete();
await mailerBlock.Completion;

答案 2 :(得分:-1)

我学到了很难,如果你必须使用可靠的文件监视器,请使用USN Journals

https://msdn.microsoft.com/en-us/library/windows/desktop/aa363798(v=vs.85).aspx

如果您有足够的权限,可以使用以下方式访问.NET:https://stackoverflow.com/a/31931109/612717

您也可以使用flie Length + LastModifiedDate通过计时器轮询手动实现它。