在不同的内核上运行多个py脚本

时间:2019-04-18 17:12:19

标签: python multiprocessing

我目前正在尝试同时运行分配给不同内核的多个.py脚本。目前,我有一个执行以下操作的.py脚本:

  • 循环浏览同一文件夹中的不同py脚本
  • 一次获取一个py脚本,并对每个脚本进行一次分析
  • 一旦对特定脚本进行了分析,它将移至    将完整的脚本放入另一个文件夹中,然后继续该过程    直到所有符合条件的py脚本都已移动

目标是尽快加快此过程。我有一台配备四个核心的计算机,我想将所有这些用于此应用程序。我在网上看到的所有示例都只是函数,而不是运行py脚本。我想知道你们中是否有人在建立一组工作人员以在多个内核上运行多个脚本方面有任何经验。

我应该在单独的脚本中使用多重处理工具吗?

#############This is where my loop for running and moving the specified py scripts are at#################
def main():

    pool = multiprocessing.Pool(processes=4)
    pool.apply_async()### Not sure what to do with this. I know it assigns the tasks to the different cores 
    pool.close()
    pool.join()
if __name__ == '__main__':
    main()

0 个答案:

没有答案