如何并行安装/编译pip需求(make -j等价)

时间:2014-10-31 07:11:08

标签: python parallel-processing pip

我在我的点数要求中安装了很多软件包,我希望能够并行处理它们。

我知道,例如,如果我想要来自n的{​​{1}}个并行作业,我必须写make;是否有相应的pip要求命令?

谢谢!

2 个答案:

答案 0 :(得分:1)

我认为提高速度的最佳方法是看瓶颈在哪里。尝试分析使用pip命令时正在进行的进程。可能花费大部分时间从pypi下载并将库编译为本机(例如PIL)。您可以尝试创建自己的pypi存储库并预编译需要编译的源代码。在过去,有很多关于此问题的讨论,但如果并行启动pip,则不会真正加快速度。 你的项目是什么?

答案 1 :(得分:0)

有时pip使用make来建立依赖关系。如果在开始之前将MAKEFLAGS设置为:

export MAKEFLAGS="-j$(nproc)"
pip install -r requirements.txt

这可能有助于建立本机依赖性。

注意:nproc代表系统中CPU的数量。