使用python threadpool或类似方法来处理比核心更多的记录

时间:2016-11-06 05:48:13

标签: python multithreading python-multiprocessing

我还没有为此编写任何代码,所以我只想确定正确的方法。

我有一个小应用程序,可以接受多个输入记录,直到用户按下“开始”按钮。 (pyQt gui)。一旦用户按下Go,该应用程序将通过线程池为每个核心生成1个线程。每个线程都将传递它的记录号,以便在创建时进行处理。然后它将检索并处理数据,并返回结果。 (好的,或在步骤X中失败)。

以下是一个问题:有些情况下,记录的数量超过最初处理它们的核心数量。那么,当有记录要做,启动线程时,处理这个线程池关于循环的最佳方法是什么?

我认为只是有一个很长的时间或一个for循环,但我认为可能有更好的方法,实际上可能已经有了处理它的东西。

谢谢!

0 个答案:

没有答案