我有一些代码,我已成功并行,因为它得到了答案,但它仍然有点慢。使用cProfile.run(),我发现尽管每个通话时间为.003,但在cPickle.dumps中花费了121秒(占总时间的57%)。我不在其他任何地方使用此函数,因此必须由于ipython的并行而发生。
我的代码工作方式是它做一些连续的东西,然后并行运行许多模拟。然后是一些连续的东西,然后是并行的模拟。它必须重复这么多次。每个模拟需要一个非常大的字典,我从我写的模块中提取。我相信这是多次被腌制并减慢程序的速度。
有没有办法将大字典推送到引擎,使其永久保留在那里?我认为每次调用并行函数时它都会被推动。