从Flask请求启动新的子进程

时间:2013-01-30 12:48:03

标签: python flask multiprocessing subprocess

我通过一个用@app.route('/url/path/to/view')修饰的函数发出请求。

找到一些数据并进行一些计算会做一些事情,在此过程中函数会正常运行。但是,最后我想开始一个新进程(来自python函数,目前正在使用multiprocessing.Process)。一旦这个过程开始,我希望函数返回,而新进程保持独立运行。

我当前方法的伪代码

def start_process(arguments):
    # some code here that the process will run

p = multiprocessing.Process(target=start_process, args=(...))
p.start()

return app.response("{ 'status': 'ok' }", mimetype='application/json')

这种方法是否有效,Flask应用程序可以继续运行而不会影响新流程吗?

1 个答案:

答案 0 :(得分:4)

使用多处理启动子进程是完全可以接受的。这是一个使用多处理在后台更新数据库的最小工作示例。正如奥德里乌斯所说,最终你可能想要一个合适的task queue

from flask import Flask, jsonify
import multiprocessing
import dataset
import time
import random

app = Flask(__name__)
DATABASE_URL = 'sqlite:///dev.db'

def add_person(name):
    """ Add a person to the db. """
    person = {'name': name, 'age': -1, 'status': 'processing'}
    db = dataset.connect(DATABASE_URL)
    db['people'].insert(person)
    return True

def update_person(name):
    """ Update a person in db with a fake long running process 
    that guesses a random age. """
    time.sleep(10)  # simulate a long running process
    age = random.randint(1, 120)
    person = {'name': name, 'age': age, 'status': 'finished'}
    db = dataset.connect(DATABASE_URL)
    db['people'].update(person, ['name'])
    return True

def get_person(name):
    """ Retrieve a person from the db. """
    db = dataset.connect(DATABASE_URL)
    person = db['people'].find_one(name=name)
    return person

@app.route('/<name>')
def index(name):
    """ Get person. If name not found, add_person to db and start update_person. """
    if not get_person(name):
        add_person(name)
        thread = multiprocessing.Process(target=update_person, args=(name,))
        thread.start()
    person = get_person(name)
    return jsonify(person)

if __name__ == '__main__':
    app.run(debug=True)

在子进程运行时访问localhost:5000/bert

{
    "status": "processing",
    "age": -1,
    "name": "bert",
    "id": 1
}

等待,然后刷新,你会看到子进程已经完成:

{
    "status": "finished",
    "age": 28,
    "name": "bert",
    "id": 1
}