Celery:如何自定义多处理池初始化?

时间:2019-02-23 06:58:41

标签: python celery python-multiprocessing python-billiard

我希望进程池中的进程从分配的一些GPU开始 数组(根据请求分配数组太耗时)。

  1. 是否可以自定义池s.t的初始化。池中的每个进程都有一个GPU分配的数组,并且仅在其死后才释放内存?

  2. 如果上述可行,那么任务将如何访问初始化时分配的执行线程的GPU张量?

从celery的github上我可以看到pefork.py定义了process_initializer函数,该函数用作进程池的初始化程序。我正计划编辑源代码,但不确定如何处理。

谢谢

0 个答案:

没有答案