node.js如何集群,redis,单线程和非阻塞i / o如何工作?

时间:2018-02-05 06:30:58

标签: javascript node.js multithreading socket.io

我将尝试总结我最近学到的有关节点配置的所有内容。如果是正确的请确认。如果我搞砸了,请纠正我和其他人。

Node.js是一个服务器。 作为服务器,它可以接收来自客户端的请求。 假设在一段时间内有200个请求。

由于node.js是一个单独的线程,它可以通过一个单元/一个核心来处理所有这些请求。

然而,节点也是事件非阻塞i / o,这意味着有人可以在node.js API中请求一些方法,需要1分钟才能完成,而其他方法可以请求另一种方法也需要1分钟才能完成。两者都可以在不需要等待彼此完成的情况下轻松处理。

现在听起来很棒但是如果我们协助节点服务器并让它作为代理将200个请求的任务传播给集群/工作人员,它甚至会更好。因此,节点服务器成为客户端与工作者之间的代理。像项目经理一样:))

这样做的好处是,我们现在有4个核心处理这些请求而不是一个核心处理200个请求,每个核心都是事件非阻塞i / o(取决于服务器规范)。

这可能超级快。不是吗?

这就是问题/我想要了解的内容:

如何让这些群集/工作人员作为共享工作?

我的意思是,如果将50个请求转移到核心1,将50个请求转移到核心2等等,直到所有可用核心为止, 如何将套接字发送到两个不同的内核? (socket.io

群集如何与速率限制器一起运行?我的意思是,速率限制器会禁止尝试垃圾邮件或其他东西的用户,但随后会立即撤销该用户的禁令,因为它会转到不同的群集。

我听说Redis想要提供帮助。 但它非常混乱,redis是DB不是吗? 我正在使用MongoDB,为什么我需要更多数据库?

我会在这里提供一些代码,但解决方案可能就在眼前:

var cluster = require('cluster');
var redis = require("socket.io-redis");

if(cluster.isMaster) {

    var numWorkers = require('os').cpus().length;
    console.log('Master cluster setting up ' + numWorkers + ' workers...');

    for(var i = 0; i < numWorkers; i++) {
        cluster.fork();
    }

    cluster.on('online', function(worker) {
        console.log('Worker ' + worker.process.pid + ' is online');
    });

    cluster.on('exit', function(worker, code, signal) {
        console.log('Worker ' + worker.process.pid + ' stopped with code: ' + code + ', and signal: ' + signal);
        console.log('Starting a new worker');
        cluster.fork();
    });

    cluster.fork();

} else {

  // define main required variables
  var express = require('express');
  var app = express();
  var cors = require('cors');
  var server = require('http').createServer(app);
  var io = require('socket.io')(server);
  var mongojs = require('mongojs');
  var db = mongojs("mongodb://user:pass*@ip:port/dbname", []);
  var ObjectId = require('mongodb').ObjectID;
  var CronJob = require('cron').CronJob;
  var request = require('request');
  var fcm = require('./routes/fcm');
  var Excel = require('exceljs');
  var fs = require('fs');
  var path = require('path');
  var rateLimit = require('express-rate-limit');

  // define some global limiter against spammer
  var limiter = new rateLimit({
    windowMs: 10*60*1000, // 10 minutes
    max: 100, // limit each IP to 100 requests per windowMs (11 is on load and more 100 later on)
    delayMs: 0, // disable delaying - full speed until the max limit is reached
    message: "Service is block for you, try again later"
  });

  //  apply to all requests
  app.use(limiter);

  // allow cross origin to access my api
  app.use(cors());

  var bodyParser = require('body-parser');
  app.use(bodyParser.json()); // support json encoded bodies
  app.use(bodyParser.urlencoded({ extended: true })); // support encoded bodies
  app.use(express.static(__dirname + '/src'));

  // my own routes
  require('./routes/sockets')(app, io, mongojs, db, ObjectId, CronJob, request, fcm);
  require('./routes/userServer')(app, io, mongojs, db, ObjectId, CronJob, request, fcm, rateLimit);
  require('./routes/ridesServer')(app, io, mongojs, db, ObjectId, CronJob, request);
  require('./routes/offersServer')(app, io, mongojs, db, ObjectId, CronJob, request, rateLimit);
  require('./routes/notificationsServer')(app, io, mongojs, db, ObjectId, CronJob, request);
  require('./routes/scopeServer')(app, io, mongojs, db, ObjectId, CronJob, request, fcm);
  require('./routes/excelServer')(app, io, mongojs, db, ObjectId, CronJob, request, fcm, Excel, fs, path);

  // listen
  server.listen("8080", function() {
    console.log("Connected to db and listening on port 8080");
  });

}

如何处理这些事情?

感谢。

1 个答案:

答案 0 :(得分:2)

我找到了解决方案,现在是:

对于具有多个集群的socket.io,请执行以下操作:

第1步:在您的计算机上安装Redis:brew install redis

第2步:运行Redis服务器:redis-server(来自SHELL中的新标签页)。

第3步:安装Redis依赖项:npm install redis --save

第4步:在定义io之后包含Redis适配器,如下所示:

var io = require('socket.io')(server);
var redis = require('socket.io-redis');
io.adapter(redis({ host: 'localhost', port: 6379 }));

你准备好了。

对于使用Redis的速率限制器,请按照下一个NPM Repo

进行操作