Flask线程共享值

时间:2017-07-24 17:17:13

标签: python multithreading flask redis sse

我有一个Flask应用程序,它提取数据,然后它转换那些数据,然后将这些结果上传到数据仓库。这一系列步骤我想“登录”到Web UI,如果需要,还要记录警告。

在同一个Flask应用程序中,我实现了SSE(服务器发送事件)并且它可以工作,但我无法“更新”事件以反映应用程序的状态。有人可以指出我如何在不断更新浏览器的SSE和正在运行的应用程序之间“共享”数据,以便让用户了解数据处理的最新情况?或者可能采用不同的方法?欢迎所有想法。我是Flask的新手。

这是UI所在的views.py模块:

from flask import render_template
import logging

logger = logging.getLogger(__name__)


def index():
    """ User Interface page """
    return render_template('index.html')

index.html

<!DOCTYPE html>
<html>
    <head>
        <title>Status</title>
        <script type="text/javascript" src="/static/js/sse.js"></script>
    </head>
    <body>
        <h1>Status</h1>
        <div id="status"></div>
    </body>
</html>

sse.js在这里:

var sse = new EventSource('/status');
sse.onmessage = function(e) {
    console.log(e.data);
    document.getElementById('status').innerHTML = e.data;
};

这是SSE代码本身:

class ServerSentEvents(object):

    def __init__(self, data):
        self.data = data
        self.event = None
        self.id = None
        self.desc_map = {
            'data': self.data,
            'event': self.event,
            'id': self.id}

    def encode(self):
        if not self.data:
            return ''

        lines = ['{}: {}'.format(k, v) for k, v in self.desc_map.items() if v]
        return '{}\n\n'.format('\n'.join(lines))

Redis的状态实现:

from flask import Response
from .sse import ServerSentEvents
import logging

logger = logging.getLogger(__name__)


class EntityStatus():
    """ Broadcast application state """

    def __init__(self, red):
        self.red = red

    def status(self):

        def ready():
            pubsub = self.red.pubsub()
            pubsub.subscribe('status')
            for message in pubsub.listen():
                logger.debug('Status: {}'.format(message['data']))
                ev = ServerSentEvents(message['data'])
                yield ev.encode()

        return Response(ready(), mimetype='text/event-stream')

这是路由模块:

from .version import __version__
from .actions import index
from .actions import EntityStatus


def add_routes(app, red, etl):

    def _add_headers(response):
        """ Add custom response headers """
        response.headers['X-App-Version'] = __version__
        response.headers['User-Agent'] = 'Segments Engine'
        return response

    app.after_request(_add_headers)

    api = EntityStatus(red)

    app.add_url_rule('/', 'index', index)
    app.add_url_rule('/status', 'status', api.status)
    app.add_url_rule('/etl', 'etl', etl.etl)

这里是发送状态的代码摘录:

class EntityApi(object):
    """ Entity API """

    def __init__(self, debug, red, data):
        self.debug = debug
        self.red = red

        self.red.publish('status', 'API Ready')

'index'页面加载一个js脚本,该脚本成功指向并从服务器接收SSE数据并正确显示数据。 'status'是发送数据的地方,'etl'是进行实际数据处理的地方。

1 个答案:

答案 0 :(得分:0)

我修改了你现在正在查看的代码。使用Redis和SSE我现在设法在处理数据时将应用程序状态更新发布到Web UI :)我发现的通知示例和其他相关的Redis和Celery实现帮助我达到这一点,谢谢大家:)我只需要一个简单的解决方案,以后可以从这里进行改进和扩展。