使用Python多处理延迟启动任务

时间:2015-09-17 14:36:07

标签: python multiprocessing python-multiprocessing

我最近一直在研究Python多处理功能,并遇到以下代码的问题

import syslog
from multiprocessing import Pool
def launcher(i):
    time.sleep(i)
    syslog.openlog( 'test', 0, syslog.LOG_LOCAL4 )
    syslog.syslog( '{} {}'.format(i,datetime.now()))

if __name__ == '__main__':
    pool=Pool(8)
    pool.map(launcher,range(1,3000))
    pool.close()
    pool.join()

它背后的想法很简单:我需要在我的系统日志中获得一系列消息(每秒一条消息),但我想在多个处理池的8个工作进程中生成它。

在我的系统日志中(我的Ubuntu上的本地/ var / log / syslog)我有以下内容

Sep 17 17:17:57 test: 1 2015-09-17 17:17:57.225699
Sep 17 17:17:58 test: 2 2015-09-17 17:17:58.226957
Sep 17 17:18:00 test: 3 2015-09-17 17:18:00.229196
Sep 17 17:18:03 test: 4 2015-09-17 17:18:03.232390
Sep 17 17:18:07 test: 5 2015-09-17 17:18:07.236587
Sep 17 17:18:12 test: 6 2015-09-17 17:18:12.241737
Sep 17 17:18:18 test: 7 2015-09-17 17:18:18.247926
Sep 17 17:18:25 test: 8 2015-09-17 17:18:25.255169
Sep 17 17:18:29 test: 9 2015-09-17 17:18:29.258229
Sep 17 17:18:33 test: 10 2015-09-17 17:18:33.263454
Sep 17 17:18:42 test: 64 2015-09-17 17:18:42.272675
Sep 17 17:18:52 test: 33 2015-09-17 17:18:52.283012
Sep 17 17:19:01 test: 11 2015-09-17 17:19:01.290070
Sep 17 17:19:02 test: 12 2015-09-17 17:19:02.259826

首先,流程不均匀,其次,不按顺序。

如果那可能是什么原因?

为什么linux进程调度程序与Python多处理一样工作?

有没有办法解决我的多任务处理任务?

1 个答案:

答案 0 :(得分:0)

即使操作系统只对你的程序进行实时调度,你也不会在每秒后得到统一的消息:

  1. 带8个厨房定时器,以及一堆后期。
  2. 第1至2999号后的第2999号。
  3. 拿一个计时器和一个贴子,然后将时间设置为贴子上的数字并将其放在一边。
  4. 重复3,直到计时器耗尽
  5. (如果你速度快,亚秒速度)你有8个计时器从[1,2,3,4,5,6,7,8]算起来
  6. 等一下
  7. 现在你的第一个计时器应该关闭,重复步骤3.
  8. 你现在有8个计时器正在运行
  9. 序列将是

    [9, 1, 2, 3, 4, 5, 6, 7]
    [8, 10, 1, 2, 3, 4, 5, 6]
    [7, 9, 11, 1, 2, 3, 4, 5]
    [6, 8, 10, 12, 1, 2, 3, 4]
    [5, 7, 9, 11, 13, 1, 2, 3]
    [4, 6, 8, 10, 12, 14, 1, 2]
    [3, 5, 7, 9, 11, 13, 15, 1]
    [2, 4, 6, 8, 10, 12, 14, 16]
    #Notice that for the next timer to go off, you have to wait 2 seconds, not 1!
    [17, 2, 4, 6, 8, 10, 12, 14]
    [15, 18, 2, 4, 6, 8, 10, 12]
    ...
    [3, 6, 9, 12, 15, 18, 21, 24]
    #3 seconds to wait, not 1!
    [25, 3, 6, 9, 12, 15, 18, 21]
    ...
    [4, 8, 12, 16, 20, 24, 28, 32]
    

    编辑:

    我猜你为什么经历等待1,2,3这么快的原因可能是因为你的8名工人同时试图对同一个系统日志进行IO。我认为那里有一些障碍。