多核计算熊猫和scipy.stats应用程序,python

时间:2017-08-24 01:04:42

标签: python-2.7 pandas multiprocessing

我使用scipy.stats使用pandas数据框来运行一些相关性。我的数据框有100万并且更改了列。代码工作..但是当它应用于整个数据框时,它需要太长时间(直到这一点25分钟)。我可以访问98核心计算集群,我想知道如何将操作分配给这些核心 - (我通常使用bash和其他工具,而不是python和pandas ...因此在python中应用多核进程是一回事我从未尝试过。)任何帮助都会受到赞赏......

pvals = a.ix[:,0:].apply(lambda col: stats.spearmanr(col, b.ix[:,0])[1], axis=0)

0 个答案:

没有答案