具有Express路由的NodeJS的RabbitMQ

时间:2015-09-03 14:25:36

标签: javascript node.js express rabbitmq amqp

我的服务器正在运行NodeJS并使用amqplib api从另一个应用程序请求数据。 NodeJS服务器正在成功接收信息,但是有一个明显的延迟,我试图确定我是否以最有效的方式这样做。具体来说,我关注的是打开和关闭连接的方式 项目布局
我有两个处理接收和请求数据的控制器文件,request.img.server.controller.js和receive.img.server.controller.js。最后,当按下前端的按钮时,路径会处理控制器方法,oct.server.routes.js。

request.img.server.controller.js

'use strict';

var amqp = require('amqplib/callback_api');
var connReady = false;
var conn, ch;
amqp.connect('amqp://localhost:5672', function(err, connection) {
    conn = connection;
    connReady = true;
    conn.createChannel(function(err, channel) {
        ch = channel;
    });
});


exports.sendRequest = function(message) {
    console.log('sending request');

    if(connReady) {
        var ex = '';
        var key = 'utils';

        ch.publish(ex, key, new Buffer(message));
        console.log(" [x] Sent %s: '%s'", key, message);
    }
};

receive.img.server.controller.js

var amqp = require('amqplib/callback_api');
var fs = require('fs');
var wstream = fs.createWriteStream('C:\\Users\\yako\\desktop\\binarytest.txt');

var image, rows, cols;
exports.getResponse = function(resCallback) {
    amqp.connect('amqp://localhost:5672', function(err, conn) {
        conn.createChannel(function(err, ch) {
            var ex = '';

            ch.assertQueue('server', {}, function(err, q) {
                console.log('waiting for images');
                var d = new Date();
                var n = d.getTime();
                ch.consume(q.queue, function(msg) {
                    console.log(" [x] %s: '%s'", msg.fields.routingKey, msg.content.toJSON());
                    rows = msg.content.readInt16LE(0);
                    cols = msg.content.readInt16LE(2);
                    console.log("rows = %s", msg.content.readInt16LE(0));
                    console.log("cols = %s", msg.content.readInt16LE(2));
                    image = msg.content;
                    var currMax = 0;
                    for (var i = 4; i < image.length; i+=2) {
                        if (image.readInt16LE(i) > currMax) {
                            currMax = image.readInt16LE(i);
                        }
                        wstream.write(image.readInt16LE(i) + ',');
                    }
                    console.log('done writing max is', currMax);
                    //console.log(image);
                    resCallback(rows, cols, image);
                }, {
                    noAck: true
                });
            });
        });
    });
};

oct.server.routes.js

'use strict';

module.exports = function(app) {
    var request_img = require('../../app/controllers/image-tools/request.img.server.controller.js');
    var receive_img = require('../../app/controllers/image-tools/receive.img.server.controller.js');

    // oct routes
    app.get('/load_slice', function(req, res) {
        console.log('load slice hit');
        receive_img.getResponse(function (rows, cols, image) {
            res.end(image);
        });
        request_img.sendRequest('123:C:\\Users\\yako\\Documents\\Developer\\medicaldiag\\test_files\\RUS-01-035-09M-21.oct');
    });
};

1 个答案:

答案 0 :(得分:7)

您打开连接的方式很糟糕,至少是性能问题的一部分。

连接开放费用昂贵。他们在客户端和rabbitmq服务器之间的TCP / IP端口上打开一个新的TCP / IP连接。这需要时间,并且在客户端和服务器上耗尽有限的资源。

因此,应在每个node.js进程中创建并使用与RabbitMQ的单个连接。这个连接应由该进程中的所有代码共享。

每当您需要对RabbitMQ执行某些操作时,请在共享连接上打开一个新频道并开始工作。频道很便宜,可以根据需要在连接中打开和关闭。

更具体地说,在您的代码中,receive.img.server.controller.js文件是主要问题。每次调用getResponse方法时,都会打开与RabbitMQ的新连接。

如果有10个用户访问该站点,那么当1个就足够时,您将有10个打开的RabbitMQ连接。如果您有数千名用户访问该网站,那么当1足够时,您将拥有数千个打开的RabbitMQ连接。您还可能会在RabbitMQ服务器或客户端上耗尽可用的TCP / IP连接。

你的receive.img.server.controller.js应该看起来更像你的request.img.server.controller.js - 一个连接打开,并一直重复使用。

此外,FWIW - 我建议将the wascally library用于带有node.js的RabbitMQ。该库位于amqplib之上,但使事情变得更加容易。它将为您管理您的一个连接,并使您更容易发送和接收消息。

我还有一些可用于RabbitMQ and node.js的培训材料,其中涵盖了amqplib的基础知识,然后继续使用iscally进行实际的应用程序开发。