Django / gevent socket.IO与redis pubsub。我在哪里放东西?

时间:2011-10-06 17:49:58

标签: python django socket.io publish-subscribe gevent

我有一个孤立的python脚本,它只是从Twitter的流API中捕获数据,然后在收到每条消息时,使用它发布到频道“tweets”的redis pubsub。这是脚本:

def main():
    username = "username"
    password = "password"
    track_list = ["apple", "microsoft", "google"]

    with tweetstream.FilterStream(username, password, track=track_list) as stream:
        for tweet in stream:
            text = tweet["text"]
            user = tweet["user"]["screen_name"]
            message = {"text": text, "user": user}
            db.publish("tweets", message)

if __name__ == '__main__':
    try:
        print "Started..."
        main()
    except KeyboardInterrupt:
        print '\nGoodbye!'

我的服务器端socket.io实现是使用django-socketio(基于gevent-socketio)https://github.com/stephenmcd/django-socketio完成的,它只提供了一些辅助装饰器以及broadcast_channel方法。因为它是在django中完成的,所以我只是简单地将这些代码放在views.py中,以便它们被导入。我的views.py代码:

def index(request):
    return render_to_response("twitter_app/index.html", {
    }, context_instance=RequestContext(request))

def _listen(socket):
    db = redis.Redis(host="localhost", port=6379, db=0)
    client = db.pubsub()
    client.subscribe("tweets")
    tweets = client.listen()

    while True:
        tweet = tweets.next()
        tweet_data = ast.literal_eval(tweet["data"])
        message = {"text": tweet_data["text"], "user": tweet_data["user"], "type": "tweet"}
        socket.broadcast_channel(message)

@on_subscribe(channel="livestream")
def subscribe(request, socket, context, channel):
    g = Greenlet.spawn(_listen, socket)

客户端socket.io JavaScript只是连接并订阅频道“livestream”并捕获任何收到的消息到该频道:

var socket = new io.Socket();
socket.connect();
socket.on('connect', function() {
    socket.subscribe("livestream");
});
socket.on('message', function(data) {
    console.log(data);
});

此代码的明显问题是,每次向页面打开新用户或浏览器窗口时,都会生成一个新的_listen方法,并且推文会为每个用户订阅和广播,从而导致在客户。我的问题是,放置_listen方法的适当位置在哪里,以便它只创建一次而不管客户端数量是多少?另外,请记住,broadcast_channel方法是套接字实例的方法。

1 个答案:

答案 0 :(得分:3)

问题是当我应该使用socket.send时,我正在使用socket.broadcast_channel。