Question

我正在使用python的多处理模块开始一个过程。该过程由django项目中发送的post请求调用。当我使用开发服务器（python manage.py runserver）时，post请求不会花时间启动进程并立即完成。

我使用nginx和uwsgi在生产中部署了项目。

现在，当我发送相同的帖子请求时，完成该请求大约需要5-7分钟。它只发生在我开始进程的那些发布请求中。其他帖子请求工作正常。

这种延迟可能是什么原因？我该如何解决这个问题？

Answer 1

基本上，后台处理需要在WSGI应用程序模块之外启动。

在WSGI中，启动了一个python webapp进程来处理请求，其数量因配置而异。如果此进程生成一个新进程，该进程将阻止WSGI进程处理新请求，则在处理新请求之前使服务器阻塞并等待它完成。

我建议您使用WSGI应用程序模块中的共享队列来提供进入外部 WSGI应用程序模块的进程。像下面这样的东西。这将为webapp模块外的每个WSGI进程启动一个新处理器，以便不阻止请求。

your_app/webapp.py：

from . import bg_queue
def post():
    # Webapp POST code here
    bg_queue.add(<task data>)

your_app/processor.py：

from multiprocessing import Process

class Consumer(Process):
    def __init__(self, input_q):
        self.input_q = input_q

    def run(self):
        while True:
            task_data = input_q.get()
            <process data>

your_app/__init__.py：

from .processor import Consumer
bg_queue = Queue()

consumer = Consumer(bg_queue)
consumer.daemon = True
consumer.start()

Answer 2

我想出了一个解决方法（不知道它是否有资格作为答案）。我将后台进程编写为数据库中的一个作业，并使用cronjob检查我是否有任何待处理作业，如果有任何cron将启动该作业的后台进程并将退出。

cron将每分钟运行一次，以便没有太多延迟。这有助于提高性能，因为它帮助我执行这样繁重的任务，与主应用程序分开运行。

python进程需要时间在nginx和uwsgi上运行的django项目中启动

2 个答案: