如何使用不同的输入多次运行完全相同的函数,并同时执行

时间:2019-07-09 02:12:02

标签: python multithreading multiprocessing simultaneous

我有很多数据要处理(大约30-60百万个数据集),我需要使用不同的设置在每个季度的相等季度中进行处理。因此,我使自己成为一个函数,该函数调用了我先前编写的其他几个函数。然后,我用不同的输入调用函数4次,得到一堆图,并让它在文件中写入一堆数字。一切都很好,但要花几分钟才能完成,我是一个急躁的小伙子。特别是因为我每天都会获取新的数据集,有时一天几次。我绝不是程序员,也不是精通任何编码语言的人,但是我看不出为什么我不能简单地同时运行每个函数调用来节省时间的原因。我并不在乎它们如何同时运行,只要它可以大大加快速度即可。哈哈。

我试图使多个线程有趣,但这给了我怪异的图景,就像线程在它们之间进行通信并混淆输出一样。然后我尝试像代码中那样运行多个进程,但无论如何它们似乎都是顺序运行的。

from multiprocessing import Process

def func1(x):
  return (x)



if __name__ == '__main__':
  p1 = Process(target=func1,(1,))
  p1.start()
  p2 = Process(target=func1,(2,))
  p2.start()
  p1.join()
  p2.join()

感谢您可以提供的任何帮助

0 个答案:

没有答案