Question

我正在做的事情相当于一个美化的邮件合并，然后文件转换为PDF ...基于.Net 4.5我看到了几种方法，我可以做线程。使用线程安全队列的那个看起来很有趣（计划A），但我可以看到一个潜在的问题。你怎么看？我会尽量保持简短，但要把它放在需要的地方。

这是基于这样的假设：数据库处理比PDF转换需要更多的时间。

在这两种情况下，每个文件的数据库处理都是在自己的线程/任务中完成的，但PDF转换可以在许多单线程/任务（计划B）中完成，也可以在一个长时间运行的线程中完成（计划A）。这是我想知道的PDF转换。它全部在try / catch语句中，但该线程不能失败或全部失败（计划A）。你认为这是个好主意吗？任何建议将不胜感激。

/* A class to process a file: */ 
public class c_FileToConvert
{
    public string InFileName { get; set; }
    public int FileProcessingState { get; set; }
    public string ErrorMessage { get; set; }
    public List<string> listData = null;
    c_FileToConvert(string inFileName)
    {
        InFileName = inFileName;
        FileProcessingState = 0;
        ErrorMessage = ""; // yah, yah, yah - String.Empty
        listData = new List<string>();
    }   
    public void doDbProcessing()
    {
        // get the data from database and put strings in this.listData
        DAL.getDataForFile(this.InFileName, this.ErrorMessage); // static function
        if(this.ErrorMessage != "")
            this.FileProcessingState = -1; //fatal error
        else // Open file and append strings to it
        {  
            foreach(string s in this.listData}
                ...
            FileProcessingState = 1; // enum DB_WORK_COMPLETE ...
         }
    }   
    public void doPDFProcessing()
    {
        PDFConverter cPDFConverter = new PDFConverter();
        cPDFConverter.convertToPDF(InFileName, InFileName + ".PDF");
        FileProcessingState = 2; // enum PDF_WORK_COMPLETE ...
    }       
}

/*** These only for Plan A ***/
public ConcurrentQueue<c_FileToConvert> ConncurrentQueueFiles = new ConcurrentQueue<c_FileToConvert>(); 
public bool bProcessPDFs;   

public void doProcessing() // This is the main thread of the Windows Service 
{
    List<c_FileToConvert> listcFileToConvert = new List<c_FileToConvert>();

    /*** Only for Plan A ***/
    bProcessPDFs = true;
    Task task1 = new Task(new Action(startProcessingPDFs)); // Start it and forget it
    task1.Start();

    while(1 == 1)
    {
        List<string> listFileNamesToProcess = new List<string>();
        DAL.getFileNamesToProcessFromDb(listFileNamesToProcess);

        foreach(string s in listFileNamesToProcess)
        {
            c_FileToConvert cFileToConvert = new c_FileToConvert(s);
            listcFileToConvert.Add(cFileToConvert);
        }       

        foreach(c_FileToConvert c in listcFileToConvert)
            if(c.FileProcessingState == 0)
                Thread t = new Thread(new ParameterizedThreadStart(c.doDbProcessing));

        /** This is Plan A - throw it on single long running PDF processing thread **/
        foreach(c_FileToConvert c in listcFileToConvert)
            if(c.FileProcessingState == 1)
                ConncurrentQueueFiles.Enqueue(c);

        /*** This is Plan B - traditional thread for each file conversion ***/              
        foreach(c_FileToConvert c in listcFileToConvert)
            if(c.FileProcessingState == 1)
                Thread t = new Thread(new ParameterizedThreadStart(c.doPDFProcessing));

        int iCount = 0;
        for(int iCount = 0; iCount < c_FileToConvert.Count; iCount++;)
        {
            if((c.FileProcessingState == -1) || (c.FileProcessingState == 2))
            {
                DAL.updateProcessingState(c.FileProcessingState)
                listcFileToConvert.RemoveAt(iCount);
            }
        }
        sleep(1000);
    }
}   
public void startProcessingPDFs() /*** Only for Plan A ***/
{
    while (bProcessPDFs == true)
    {
        if (ConncurrentQueueFiles.IsEmpty == false)
        {
            try
            {
            c_FileToConvert cFileToConvert = null;
            if (ConncurrentQueueFiles.TryDequeue(out cFileToConvert) == true)
                cFileToConvert.doPDFProcessing();
            }
            catch(Exception e)
            {
                cFileToConvert.FileProcessingState = -1;
                cFileToConvert.ErrorMessage = e.message;
            }
        }
    }
}

计划A似乎是一个很好的解决方案，但如果任务以某种方式失败怎么办？是的，PDF转换可以使用单个线程完成，但我想保留它们用于数据库处理。

这是用文本编辑器编写的最简单的代码，所以可能会有一些东西，但我认为我有了这个想法。

Answer 1

您使用了多少个文件？ 10？ 100000？如果数量非常大，使用1个线程来运行每个文件的数据库查询不是一个好主意。

线程是一个非常低级别的控制流构造，我建议你尽量避免在应用程序代码中产生大量杂乱和详细的线程产生，连接，同步等。如果可以，请保持简单明了。

如何：将每个文件所需的数据放在线程安全的队列中。为结果创建另一个线程安全队列。产生一些线程，这些线程重复从输入队列中提取项目，运行查询，转换为PDF，然后将输出推送到输出队列。线程应该只分享输入和输出队列。

您可以选择任意数量的工作线程，也可以尝试查看好的数字。不要为每个文件创建1个线程 - 只需选择一个允许良好CPU和磁盘利用率的数字。

或者，如果您的语言/库有并行映射运算符，请使用它。它会为你节省很多麻烦。

我应该以这种方式使用ConcurrentQueue还是单个线程

1 个答案: