重要更新：

Question

我使用nodejs在lambda上创建了一个微服务，以在S3存储桶中生成我的图像的缩略图。但是，在我将新图像上传到S3存储桶后，它没有被触发。我将触发事件类型设置为S3对象创建。我还将我的测试事件配置为："eventName": "ObjectCreated:*"，这意味着当在存储桶中创建/更改某些文件时，它应该触发测试事件并调用此lambda函数。我还在桶侧设置了相同的通知配置。我第一次从这个例子中创建了这个lambda函数，它对我很有用：Create a deployment package

该功能仅适用于确切的文件＆＃34; HappyFace.jpg＆＃34;，但是对于所有其他图像都失败了。我得到了＃34; Access Denied＆＃34;有时会出错。我使用以下代码：

// dependencies
var async = require('async');
var AWS = require('aws-sdk');
var gm = require('gm')
            .subClass({ imageMagick: true }); // Enable ImageMagick integration.
var util = require('util');
var utils = require('utils');

// constants
var MAX_WIDTH  = 100;
var MAX_HEIGHT = 100;

// get reference to S3 client 
var s3 = new AWS.S3();

exports.handler = function(event, context, callback) {
    // Read options from the event.
    console.log("Reading options from event:\n", util.inspect(event, {depth: 5}));
    var srcBucket = event.Records[0].s3.bucket.name;
    // Object key may have spaces or unicode non-ASCII characters.
    var srcKey    =
    decodeURIComponent(event.Records[0].s3.object.key.replace(/\+/g, " "));  
    var dstBucket = srcBucket + "-resized";
    var dstKey    = "resized-" + srcKey;

    // Sanity check: validate that source and destination are different buckets.
    if (srcBucket == dstBucket) {
        callback("Source and destination buckets are the same.");
        return;
    }

    // Infer the image type.
    var typeMatch = srcKey.match(/\.([^.]*)$/);
    if (!typeMatch) {
        callback("Could not determine the image type.");
        return;
    }
    var imageType = typeMatch[1];
    if (imageType != "jpg" && imageType != "png") {
        callback('Unsupported image type: ${imageType}');
        return;
    }

    // Download the image from S3, transform, and upload to a different S3 bucket.
    async.waterfall([
        function download(next) {
            // Download the image from S3 into a buffer.
            s3.getObject({
                    Bucket: srcBucket,
                    Key: srcKey
                },
                next);
            },
        function transform(response, next) {
            gm(response.Body).size(function(err, size) {
                // Infer the scaling factor to avoid stretching the image unnaturally.
                var scalingFactor = Math.min(
                    MAX_WIDTH / size.width,
                    MAX_HEIGHT / size.height
                );
                var width  = scalingFactor * size.width;
                var height = scalingFactor * size.height;

                // Transform the image buffer in memory.
                this.resize(width, height)
                    .toBuffer(imageType, function(err, buffer) {
                        if (err) {
                            next(err);
                        } else {
                            next(null, response.ContentType, buffer);
                        }
                    });
            });
        },
        function upload(contentType, data, next) {
            // Stream the transformed image to a different S3 bucket.
            s3.putObject({
                    Bucket: dstBucket,
                    Key: dstKey,
                    Body: data,
                    ContentType: contentType
                },
                next);
            }
        ], function (err) {
            if (err) {
                console.error(
                    'Unable to resize ' + srcBucket + '/' + srcKey +
                    ' and upload to ' + dstBucket + '/' + dstKey +
                    ' due to an error: ' + err
                );
            } else {
                console.log(
                    'Successfully resized ' + srcBucket + '/' + srcKey +
                    ' and uploaded to ' + dstBucket + '/' + dstKey
                );
            }

            callback(null, "message");
        }
    );
};

并在下载前配置了类型匹配。我试图使用s3.ListObjects，但它在逻辑上对我没有意义。由于lambda可以由upload事件触发，因此每次上传新图像时都应该为该图像调用，因此我不想每次都列出对象。

更新

我在获得管理员权限后摆脱了访问被拒绝的问题。它启发我检查我安装的节点包。我们可以通过这种方式对其进行故障排除。但是，在我安装了＆＃39; utils＆＃39;从npm开始，我无法调用现有文件的功能。

Answer 1

access denied错误可能不是IAM / S3存储桶/ lambda权限问题。如果您的服务无法在S3存储桶中找到给定密钥，则它还会向请求者返回access denied错误。因为返回NoSuchKey会泄漏有关所请求密钥不存在的信息。如需参考，请查看以下链接：Causes of Access Denied Error

至于如何迭代调用lambda函数，你绝对不需要在代码中调用s3.ListObject()，因为这会降低你的性能。但是，此链接可能会帮助您自定义您的功能：Listing Large S3 Buckets with the AWS SDK for Node.js。在这个问题的给定示例中，请注意它们包括util包：

var util = require('util');

但是他们如何使用npm安装是通过这个命令行：

npm install async gm

如果你想迭代地调用这个函数，你也想安装＆＃34; utils＆＃34;通过npm install utils的npm。当它在您的存储桶中迭代工作时，某些文件可能会出现access denied错误，因为您可能没有在事件中配置密钥。你可以忽略它。

<强>更新

我还设法将原始图片和缩略图放在同一个桶中，你需要做的是两件事：

通过检查前缀或后缀来略过缩略图。
设置超时间隔。由于我们使用的是async＆＃39;，因此我们不需要为瀑布函数设置setTimeout，我们可以将它设置在瀑布之外但在处理程序内部。您还可以在GUI中设置超时和时间安排事件。

重要更新：

不幸的是，我原来的解决方案并不完美。我有另一种更安全的解决方案。有三个步骤：

将S3存储桶配置为SQS队列。
在异步循环（或setInterval）中侦听每个传入的消息。
在每个SQS消息的异步循环中执行缩略图功能。

代码大致如下：

s3.listObjects({Bucket:"myBucket",Delimiter:"",Prefix:""}, function (err, data) {
    if (err) throw err;

    thumbnail(event, function(err){})
});

setInterval(function() {
    console.log("Pause");
    sqs.receiveMessage(receiveParams, function(err,data){
        console.log("Calling");
        if (err) {
            console.log(err);
        }
        else {
            if (data.Messages != null)
            {
                thumbnail(data.Messages[0].Body, function(err){
                    if (err) {
                        console.log(err);
                    }
                });
            }
        }
    });
}, 1000);

AWS nodejs microservice：当S3存储桶中的文件发生变化时，迭代地调用服务

1 个答案:

重要更新：