NodeJS:如何释放在V8内存堆之外分配的缓冲区

时间:2012-12-28 06:34:40

标签: javascript node.js memory-leaks streaming buffer

我有一个应用程序,我从服务器顺序下载mp3文件,暂时将它们存储在我的服务器中,然后直接将它们流式传输到客户端,如下所示:

function downloadNextTrack(){
  var request = http.get('http://mp3server.com', function(response){
    response.on('data', function(data) {
      fs.appendFile('sometrack.mp3', data, function (err) {});
    });
    response.on('end', function(){
      streamTrack('sometrack.mp3');
    }
  });
};

var clients = []; // client response objects are pushed to this array when they request the stream through a route like /stream.mp3

var stream;

function streamTrack(track){
  stream = fs.createReadStream(track);
  stream.on('data', function(data){
    clients.forEach(function(client) {
      client.write(data);
    });
  });
  stream.on('end', function(){
    downloadNextTrack(); // redoes the same thing with another track
  }
};

显然这段代码创建了很多缓存,这些缓冲区没有被操作系统释放,当我运行'free -M'命令时,这就是我得到的(运行应用程序大约4个小时后):

                   total      used       free     shared    buffers     cached
              Mem: 750        675         75          0         12        180
-/+ buffers/cache:            481        269
             Swap: 255        112        143

“缓冲区”下的数字不断上升(以及缓存的内存),操作系统显然没有回收180mb,直到最后我的应用程序耗尽内存并在我尝试生成一个小进程进行验证时崩溃轨道的比特率,采样率,id3信息等

我已经诊断出有很多不同的工具(例如memwatch和nodetime)来确定它是否是内部内存泄漏但事实并非如此,V8内存堆以及Node RSS变化+/- 10mb但是大部分时间保持不变,而OS可用内存越来越低(当Node进程启动时,我有大约350MB的可用内存)。

我在某处读到Node分配的Buffer实例可以直接访问原始内存,因此V8没有对它们的电源(它检查了我没有从V8堆中获取内存泄漏的事情)是的,我需要一种摆脱这些旧缓冲区的方法。这可能吗?或者我每隔5个小时左右重启我的应用程序(或者更糟糕的是,购买更多内存!)?

PS。我在Ubuntu 10.04上运行Node v0.8.16。

2 个答案:

答案 0 :(得分:2)

我同意蒂亚戈的意见, 我认为这是由于代码的递归性质造成的。 我不认为这些流是吞噬你的堆的原因,因为如你所说,每次迭代都会使用新的ReadStream重新分配流变量。 但是,第2行中的http.get的请求和响应(以及它们使用的任何缓冲区)在调用下一次迭代之前永远不会被释放;它们的范围在downloadNextTrack函数中。最终会得到一个递归堆栈跟踪,每个文件都有一组请求和响应对象(以及一些底层缓冲区)。

一般来说,如果这段代码需要运行很多次,为什么不选择退出递归并迭代地完成所有操作呢?一个永无止境的递归将总是吞噬越来越多的内存,直到程序崩溃,即使你的内存没有泄漏。

答案 1 :(得分:0)

阅读本文:http://www.linuxatemyram.com

缓冲区缓存是inode和dentries(文件系统结构)的缓存。该内存仍可供进程使用。你不应该关心这个。