Python多处理问题

时间:2011-08-04 04:24:53

标签: python multithreading multiprocessing

尝试考虑编写必须并行运行的2个进程的最佳方法。我甚至不确定多处理是否是首选模块。

我使用dataCollector长时间生成大量数据,但我希望在dataCollector继续运行的同时使用dataChecker定期检查数据。在我看来,我考虑了两个重要的时间,一个是dataCollector转储文件开始写另一个文件的时间,这是dataChecker开始分析转储文件的时间,两个是时间, dataChecker完成并再次开始等待dataCollector。

有人可以建议多处理模块的大纲吗?我应该使用不同的模块吗?感谢

1 个答案:

答案 0 :(得分:2)

为什么要使用任何模块?通过两个单独的进程同时启动,这很容易做到。 dataChecker将列出目录中的所有文件,对它们进行计数,并在短时间内(几秒或更长时间)休眠。然后它会再次执行它,如果文件数量发生变化,它会打开新的文件,读取它们并处理它们。

两个进程的同步将完全通过邮箱完成,实现为包含文件的目录。仅当dataCollector开始编写新消息时才会收到消息。