Python中的Flask多进程工作池

时间:2013-12-05 16:20:41

标签: python flask multiprocessing threadpool classification

我对做我想做的事情的最佳方式感到很困惑。

我有一系列工作需要花费大量时间来处理,所以我想在app启动时初始化大量“工人”,以便在免费时处理请求。

流程细分:

  • 在应用启动时创建10个分类器(工作人员)并让它们在某处保持空闲状态。
  • 当应用程序启动时,请求通过Flask POST命令。
  • 请求被传递给可用的分类器。
  • 分类器返回作业结果。

我将如何做到这一点?

编辑:值得注意的是,分类器需要花费大量时间来启动,因此需要可用并且在传递给它们时已经运行。

class View(views.MethodView):
    def get(self):
        return render_template('index.html')

    def post(self):
        app_form_elements = request.form

    #Assumption button clicked on browser interface...

            jobs = ["job one", "job two", "job three"]

            for job in jobs: 
        #Send each job to next available classifier pool.



        return self.get()



app.add_url_rule('/', view_func=View.as_view('main'), methods=['GET','POST'])

app.debug = True

if __name__ == '__main__':
    app.run(threaded=True)

编辑:

分类器设置如下:

class Classifier():
    """
    Class will take in a classifier and a test data set and print out the overall accuracy.
    """
    def __init__(self):

        self.load = self.toSomeStuff()

        print('classifier initialised.\n')


    def doSomeWork(self):
    #Initialised classifier objects called with work to do.



initialise_classifier = Classifier()

#the jobs 
initialise_classifier.doSomeWork()

所以基本上我需要一个预先初始化的分类器池,然后能够通过post方法为每个作业调用“doSomeWork”函数。

2 个答案:

答案 0 :(得分:2)

你不能在Flask中这样做。但是,您可以使用例如uWSGI内置功能或Celery等任务队列来获得相同的结果。

查看at this answer了解更多详情。

答案 1 :(得分:1)

你可以使用RQ(http://python-rq.org/)和模块flask-rq(https://github.com/mattupstate/flask-rq)来实现