Question

我正在做一个Django项目并尝试提高后端的计算速度。

任务类似于CPU绑定的转换过程

这是我的环境

Python 3.6.1
Django 1.10
PostgreSQL 9.6

当我尝试通过python多处理库并行计算API时，我坚持跟随错误。

  File "D:\\project\apps\converter\models\convert_manager.py", line 1, in <module>
    from apps.conversion.models import Conversion
  File "D:\\project\apps\conversion\models.py", line 5, in <module>
    class Conversion(models.Model):
  File "C:\\virtenv\lib\site-packages\django\db\models\base.py", line 105, in __new__
    app_config = apps.get_containing_app_config(module)
  File "C:\\virtenv\ib\site-packages\django\apps\registry.py", line 237, in get_containing_app_config
    self.check_apps_ready()
  File "C:\\lib\site-packages\django\apps\registry.py", line 124, in check_apps_ready
    raise AppRegistryNotReady("Apps aren't loaded yet.")

看起来像每个进程导入转换模型和转换模型就像

from django.db import models


    Conversion(model.Model):

       conversion_name = models.CharField(max_length=63)
       conversion_user = models.CharField(max_length=31)
       conversion_description = models.TextField(blank=True)
       ...

下面是我想要并行的示例函数，每次迭代都是独立的，但会访问或插入SQL数据。

Class ConversionJob():
     ...

    def run(self, p_list):
        list_merge_result = []
        for p in p_list:
            list_result = self.Couputing_api(p)
            list_merge_result.extend(list_result)

我试着做的是

from multiprocessing import Pool


 Class ConversionJob():
         ...
        def run(self, p_list):
            list_merge_result = []

            p = Pool(process=4)
            list_result = p.map(self.couputing_api, p_list)
            list_merge_result.extend(list_result)

在computing_api（）中，它会尝试获取已完成的当前转换信息并在此api调用之前保存到SQL中，但这会导致错误。

我的问题是

为什么导入转换模型会导致应用程序未加载错误，我有很多文章，但实际上没有解决我的问题。
我可以看到生成的每个Process SpawnPoolWorker-x并尝试再次启动django服务器（为什么？），每个工作人员都会停止相同的错误。
计算API会尝试访问sql，我还没有想过如何处理这项工作。（共享数据库连接或在每个进程中创建新连接）

Answer 1

对于将来可能会遇到此问题的其他人：

如果您在运行 Python 3.8 并尝试使用多处理包时遇到此问题，很可能是因为子处理是“生成”而不是“分叉”。这是 Mac OS 上 Python 3.8 的更改，其中默认进程启动方法从“fork”更改为“spawn”。这是与 Django 的 known issue。

绕过它：

import multiprocessing as mp
mp.set_start_method('fork')

Answer 2

这篇文章可以解决问题。

Django upgrading to 1.9 error “AppRegistryNotReady: Apps aren't loaded yet.”

之前我找到了这个答案，但当时并没有真正解决我的问题。

在我重复测试之后，我必须在导入另一个模型之前添加这些代码，否则，子进程将启动失败并给出错误。

import django
django.setup()
from another.app import models

在Django中使用多处理时，未加载应用程序但发生异常

2 个答案: