连接到AWS S3时,Node.js崩溃

时间:2014-04-23 22:11:47

标签: node.js amazon-s3 debian digital-ocean knox-amazon-s3-client

将我的应用程序从IntoVPS迁移到Digital Ocean后,我的应用程序在尝试将照片上传到AWS S3时崩溃。

服务器之间的区别是:IntoVPS正在运行Ubuntu 10.10,而Digital Ocean正在运行Debian; IntoVPS的节点为0.8.x,Digital Ocean的节点为0.10.26。

新服务器上没有可能导致此问题的防火墙(我已经检查过)。

崩溃错误是:

Error: read ECONNRESET
  at errnoException (net.js:904:11)
  at Pipe.onread (net.js:558:19)

Error: spawn ENOENT
  at errnoException (child_process.js:988:11)
  at Process.ChildProcess._handle.onexit (child_process.js:779:34)

Error: write EPIPE
  at errnoException (net.js:904:11)
  at Object.afterWrite (net.js:720:19)

其中一些可能与永远尝试重启过程有关(我认为产卵可能意味着什么)。我关注的是ECONNRESET。

所以,我一直在使用我的流程,并且我使用knox模块连接到S3。

谷歌搜索后我发现:https://github.com/LearnBoost/knox/issues/198

我尝试将res.resume()添加到putFile的回调中,就像它所说的那样,但没有任何变化;我仍然收到ECONNRESET错误。

我花了整整一天(​​昨天)试图解决这个问题,而且我无法继续让我的生产应用程序被破坏,所以我决定尝试切换到旧版本的节点以暂时(但很快)解决此问题。所以,我安装了n模块试图获得0.8.26作为安装的节点版本。不幸的是,n没有用,而且我在这上面创建的问题是:https://github.com/visionmedia/n/issues/170

编辑:

退出我的ssh会话并打开一个新会话后,n正在运行。但是,切换到0.8.26版本的节点会导致另一个错误:

/apps/Foobar/node_modules/dnode/node_modules/weak/node_modules/bindings/bindings.js:83
        throw e
              ^
Error: Module version mismatch, refusing to load.
  at Object.Module._extensions..node (module.js:485:11)
  at Module.load (module.js:356:32)
  at Function.Module._load (module.js:312:12)
  at Module.require (module.js:362:17)
  at require (module.js:378:17)
  at bindings (/apps/Foobar/node_modules/dnode/node_modules/weak/node_modules/bindings/bindings.js:76:44)
  at Object.<anonymous> (/apps/Foobar/node_modules/dnode/node_modules/weak/lib/weak.js:1:97)
  at Module._compile (module.js:449:26)
  at Object.Module._extensions..js (module.js:467:10)
  at Module.load (module.js:356:32)
  at Function.Module._load (module.js:312:12)
  at Module.require (module.js:362:17)
  at require (module.js:378:17)
  at Object.<anonymous> (/apps/Foobar/node_modules/dnode/index.js:5:12)
  at Module._compile (module.js:449:26)
  at Object.Module._extensions..js (module.js:467:10)
  at Module.load (module.js:356:32)
  at Function.Module._load (module.js:312:12)
  at Module.require (module.js:362:17)
  at require (module.js:378:17)
  at Object.<anonymous> (/apps/Foobar/controllers/sock.js:2:13)
  at Module._compile (module.js:449:26)
  at Object.Module._extensions..js (module.js:467:10)
  at Module.load (module.js:356:32)
  at Function.Module._load (module.js:312:12)
  at Module.require (module.js:362:17)
  at require (module.js:378:17)
  at global.Controller (/apps/Foobar/globals.js:2:9)
  at Object.<anonymous> (/apps/Foobar/controllers/generosity.js:209:12)
  at Module._compile (module.js:449:26)
  at Object.Module._extensions..js (module.js:467:10)
  at Module.load (module.js:356:32)
  at Function.Module._load (module.js:312:12)
  at Module.require (module.js:362:17)
  at require (module.js:378:17)
  at global.Controller (/apps/Foobar/globals.js:2:9)
  at Object.<anonymous> (/apps/Foobar/app.js:282:1)
  at Module._compile (module.js:449:26)
  at Object.Module._extensions..js (module.js:467:10)
  at Module.load (module.js:356:32)
  at Function.Module._load (module.js:312:12)
  at Module.runMain (module.js:492:10)
  at process.startup.processNextTick.process._tickCallback (node.js:245:9)

正如你所看到的那样,我在尝试用S3解决这个问题时遇到了最困难的时刻,而且我已经到了哭(隐喻)。我不能在这个问题上浪费时间,但我似乎无法解决它。它几乎就像Node本身一样。

任何人都可以提供有关正在发生的事情的任何见解吗?对此有任何帮助表示赞赏。

为什么还没有工作?

修改

这里有更多细节。

错误代码:

// S3
var endpoint = "https://s3.amazonaws.com/"+global.config.aws.s3.bucket+"/";
var knox = require('knox');
var s3 = knox.createClient(global.config.aws.s3);
var photosPrefix = 'photos/';


var model = module.exports;

model.emitter = new events.EventEmitter;


// ::Photos
model.createPhoto = function(info, cb){
    if (!info.file || path.resolve(info.file) === path.resolve(global.__tempdir))
        return cb(new Error('missing info.file'));

    var db = info.db;
    var photoId;

    if (typeof info.public === 'undefined')
        info.public = false;

    // Move file to a specific location
    var basename = path.basename(info.file);
    var destination = photosPrefix+basename+'/original';

    yarn
    (function(){
        // Upload photo to AWS
        s3.putFile(
            info.file, 
            destination, 
            {
                'Content-Type': 'image/png'
            },
            this());
    })
    (function(err, res){
        if (err) return this.error(new Error(err));

        // Remove temporary file
        fs.unlink(info.file, this());
    })
    (function(err){
        if (err) return this.error(new Error(err));

        // Retrieve photo stream from AWS
        s3.getFile(destination, this());
    })
    (function(err, res){
        if (err) return this.error(new Error(err));

        // Get the dimensions of the photo using the stream (res)
        gm(res).size(this());
    })
    (function(err, size){
        if (err) return this.error(new Error(err));

        // Insert record into photos table (include the dimensions, width and height)
        db.query("INSERT photos (resource, width, height, public) VALUES (?, ?, ?, ?)", [basename, size.width, size.height, info.public], this());
    })
    (function(err, results){
        if (err) return this.error(new Error(err));

        photoId = results.insertId;

        cb(null, photoId);
    })
    .error(function(err){
        cb(err);
    });
}

所有照片无论大小或格式如何都会导致相同的错误。

1 个答案:

答案 0 :(得分:0)

我发现问题不在于AWS和knox,而在于gm以及我的系统上没有安装GraphicsMagick的事实。

对于其他人的参考,如果您遇到类似的错误,请记住gm没有报告缺少GraphicsMagick或ImageMagick时不存在。我在gm模块上报告了这个错误:https://github.com/aheckmann/gm/issues/273