Question

我意识到我可以使用Pool类并且可能得到我需要的东西，但我希望对我的问题有一个更好的控制。我的工作比处理器多，所以我不希望它们一次运行。

例如：

from multiprocessing import Process,cpu_count
for dir_name in directories:
    src_dir = os.path.join(top_level,dir_name)
    dst_dir = src_dir.replace(args.src_dir,args.target_dir)
    p = Process(target=transfer_directory, args=(src_dir, dst_dir,))
    p.start()

但是，如果我有超过16个目录，那么我将开始比我有处理器更多的工作。这是我的解决方案，真是黑客。

from multiprocessing import Process,cpu_count
jobs = []
for dir_name in directories:
    src_dir = os.path.join(top_level,dir_name)
    dst_dir = src_dir.replace(args.src_dir,args.target_dir)
    p = Process(target=transfer_directory, args=(src_dir, dst_dir,))
    jobs.append(p)

alive_jobs = []
while jobs:
    if len(alive_jobs) >= cpu_count():
        time.sleep(5)
        print alive_jobs
        for aj in alive_jobs:
            if aj.is_alive():
                continue
            else:
                print "job {} removed".format(aj)
                alive_jobs.remove(aj)

        continue

    for job in jobs:
        if job.is_alive():
            continue
        job.start()
        alive_jobs.append(job)
        print alive_jobs
        jobs.remove(job)
        if len(alive_jobs) >= cpu_count():
            break

使用内置工具是否有更好的解决方案？

Answer 1

我想在这里分享我的想法：创建进程数等于cpu_count（），使用Queue存储所有目录，并将Queue传递到transfer_directory方法，从dir_name取出一旦进程完成其工作，队列。草案看起来像这样：

NUM_OF_PROCESSES = multiprocessing.cpu_count()
TIME_OUT_IN_SECONDS = 60

for dir_name in directories:
    my_queue.put(dir_name)

# creates processes that equals to number of CPU 
processes = [multiprocessing.Process(target=transfer_directory, args=(my_queue,)) for x in range(NUM_OF_PROCESSES)]

# starts processes
for p in processes:
    p.start()

# blocks the calling thread
for p in processes:
    p.join()



def transfer_directory(my_queue):
    """processes element of directory queue if queue is not empty"""
    while my_queue is not empty:
        dir_name = my_queue.get(timeout=TIME_OUT_IN_SECONDS)
        src_dir = os.path.join(top_level,dir_name)
        dst_dir = src_dir.replace(args.src_dir,args.target_dir)

编辑： 它也可以有效地读取大文件。 我正在努力使用multiprocessing一段时间来阅读一个巨大的文件（超过1000万行），最后我使用单个进程启动producer(a_queue)只读取并将行放入队列，然后启动多个consumers(a_queue)以从a_queue获取行并执行耗时的工作，并且它适用于我。

Python - 多处理 - 更多cpu作业。

1 个答案: