并行python工作者优雅失败

时间:2012-07-05 22:18:56

标签: python python-c-extension parallel-python

虽然使用pp来并行化一个非常复杂的机器学习问题,但我发现自己必须相当广泛地依赖于质量不同的第三方库。当在不同数据集上密集使用时,尤其有一个边缘情况崩溃。我最终将不得不解决这些问题,但在短期内,尝试修复我的错误和他们的错误太多了 - 这个库真的是最好的。

我的问题是:是否有一种既定的模式可用于允许pp中本地工作进程的优雅失败?

我看到的选项是:

  1. 不要使用任何本地工作进程,只使用REMOTE worker - 然后依赖套接字超时。
  2. Shell所有工作都是一个辅助python脚本,我将其作为一个单独的进程包装和执行,然后只需使用退出代码来检查崩溃。这可能必须与超时相结合,以防止非段错误的情况。
  3. 我在这里遗漏了什么吗?我一直在关注pp.py,据我所知,工作进程没有退出检测。

0 个答案:

没有答案