Question

我正在开发一个物联网应用程序，客户端每2秒向服务器发送生物电位信息。客户端每2秒发送一个包含400行数据的CSV文件。我在我的服务器上运行了一个Socket.IO websocket服务器，它从每个客户端捕获这些信息。捕获此信息后，服务器必须每2秒为每个客户端将这400条记录推送到mysql数据库中。虽然只要客户端数量很少，这种方法就能很好地工作，但随着客户端数量的增长，服务器开始抛出“进程内存异常”。

以下是收到的例外情况：

<--- Last few GCs --->
   98522 ms: Mark-sweep 1397.1 (1457.9) -> 1397.1 (1457.9) MB, 1522.7 / 0 ms [allocation failure] [GC in old space requested].
  100059 ms: Mark-sweep 1397.1 (1457.9) -> 1397.0 (1457.9) MB, 1536.9 / 0 ms [allocation failure] [GC in old space requested].
  101579 ms: Mark-sweep 1397.0 (1457.9) -> 1397.0 (1457.9) MB, 1519.9 / 0 ms [last resort gc].
  103097 ms: Mark-sweep 1397.0 (1457.9) -> 1397.0 (1457.9) MB, 1517.9 / 0 ms [last resort gc].


<--- JS stacktrace --->

==== JS stack trace =========================================

Security context: 0x35cc9bbb4629 <JS Object>
    2: format [/xxxx/node_modules/mysql/node_modules/sqlstring/lib/SqlString.js:~73] [pc=0x6991adfdf6f] (this=0x349863632099 <an Object with map 0x209c9c99fbd1>,sql=0x2dca2e10a4c9 <String[84]: Insert into rent_66 (sample_id,sample_time, data_1,data_2,data_3) values ? >,values=0x356da3596b9 <JS Array[1]>,stringifyObjects=0x35cc9bb04251 <false>,timeZone=0x303eff...

FATAL ERROR: CALL_AND_RETRY_LAST Allocation failed - process out of memory
Aborted

以下是我服务器的代码：

var app = require('express')();
var http = require('http').Server(app);
var io = require('socket.io')(http);
var mysql = require('mysql');

var conn = mysql.createConnection({
    host: '<host>',
    user: '<user>',
    password: '<password>',
    database: '<db>',
    debug: false,
});

conn.connect();

io.on('connection', function (socket){
   console.log('connection');
var finalArray = []
   socket.on('data_to_save', function (from, msg) {
   var str_arr = msg.split("\n");
   var id = str_arr[1];
   var timestamp = str_arr[0];
   var data = str_arr.splice(2);
   finalArray = [];
   var dataPoint = [];
   data.forEach(function(value){
        dataPoint = value.split(",");
        if(dataPoint[0]!=''){
                finalArray.push([dataPoint[0],1,dataPoint[1],dataPoint[2],dataPoint[3]]);
                finalArray.push([dataPoint[0],1,dataPoint[4],dataPoint[5],dataPoint[5]]);
        }
   });
   var sql = "Insert into rent_"+id+" (sample_id,sample_time, channel_1,channel_2,channel_3) values ? ";
   var query = conn.query (sql, [finalArray],function(err,result){
       if(err)
           console.log(err);
        else
         console.log(result);
   });

   conn.commit();
   console.log('MSG  from ' +  str_arr[1] + ' ' + str_arr[0] );

});

});
http.listen(9000, function () {
  console.log('listening on *:9000');
});

我能够让服务器处理100个并发连接，之后我开始接收进程内存异常。在引入数据库插入之前，服务器只是将csv存储为磁盘上的文件。通过该设置，服务器能够处理1200多个并发连接。

根据互联网上的可用信息，看起来数据库插入查询（它是异步的）将400行数组保存在内存中，直到插入完成。结果，随着客户端数量的增加，服务器的内存占用量增加，最终耗尽内存。

我确实在互联网上提出了很多关于--max_old_space_size的建议，我不确定这是一个长期的解决方案。另外，我不确定在什么基础上我应该决定这里应该提到的价值。

另外，我已经讨论了有关异步实用程序模块的建议。但是，串行插入数据可能会在客户端插入数据和服务器将数据保存到数据库之间引入很大的延迟。

我多次围绕这个问题进行了讨论。有没有办法服务器可以处理来自1000多个并发客户端的信息，并以最小的延迟将这些数据保存到Mysql数据库中。我在这里遇到了障碍，我们非常感谢这方面的任何帮助。

Answer 1

我总结了我的评论，因为他们发送了正确的路径来解决您的问题。

首先，您必须确定问题是否是由您的数据库引起的。最简单的方法是注释掉数据库部分，看看你可以扩展到多高。如果你在没有内存或CPU问题的情况下进入数千人，那么你的重点可以转移到找出为什么在混合中添加数据库代码会导致问题。

假设问题是由您的数据库引起的，那么当有大量活动数据库请求时，您需要开始了解它是如何处理的。通常，与繁忙数据库一起使用的第一件事是connection pooling。这为您提供了三个可以帮助扩展的主要内容。

它可以让您快速重用以前打开的连接，因此您不必让每个操作都创建自己的连接，然后关闭它。
它允许您同时指定所需池中的最大并发数据库连接数（控制您在数据库中引发的最大负载，还可能限制它将使用的最大内存量）。超出该限制的连接将排队（这通常是您在高负载情况下所需的，因此您不会压倒您拥有的资源）。
这样可以更容易地查看是否存在连接泄漏问题，而不仅仅是泄漏连接，直到用完某些资源，池在测试中很快就会为空，并且您的服务器将无法再处理任何事务（所以你更有可能在测试中看到问题）。

然后，您可能还想查看数据库连接的事务时间，以查看它们处理任何给定事务的速度。您知道要尝试处理的事务数/秒数，因此您需要查看数据库及其配置和资源的方式（内存，CPU，磁盘速度等）是否能够保持最新状态用你想要投入的负荷。

Answer 2

您应该使用以下命令增加默认内存（512MB）：

<块引用>

node --max-old-space-size=1024 index.js

这会将大小增加到 1GB。您可以使用此命令进一步增加默认内存。

NodeJS - 为100多个并发连接处理内存不足

2 个答案: