结果不一致,导致从AWS Lambda调用API

时间:2018-10-25 05:41:16

标签: node.js amazon-web-services amazon-s3 aws-lambda phoenix

让我为这个糟糕的代码提前表示歉意。我几乎有零节点经验,并且在后端使用React应用程序和Elixir编写了所有JS。我正在努力在NodeJS中编写正确的Lambda函数,并且基本上已经从Googling / SO / trial和error等中吸取了一些东西。

我正在做的是以下事情:

  • 用户想要上传文件,以便将一些信息发送到后端。
  • 后端生成一个预签名密钥。
  • 前端将文件发送到S3。
  • S3触发事件,Lambda执行
  • Lambda现在会检查mimetype,如果它是错误的文件,则将从S3存储桶中删除该文件,并对我的后端进行DELETE API调用,以告诉它删除照片上传所属的行。

当我在s3.deleteObject调用中对后端进行API调用时,我遇到的麻烦是,结果变得非常不一致。很多时候,它会在同一Lambda执行中连续发送两个删除请求。有时候,就像它甚至从未调用过后端,只是运行并显示完整而没有真正将任何内容记录到Cloudwatch。

我的代码如下:

    const aws = require('aws-sdk');

    const s3 = new aws.S3({apiVersion: '2006-03-01'});

    const fileType = require('file-type');

    const imageTypes = ['image/gif', 'image/jpeg', 'image/png'];

    const request = require('request-promise');

    exports.handler = async (event, context) => {
      // Get the object from the event and show its content type
      const bucket = event.Records[0].s3.bucket.name;
      const key = decodeURIComponent(
        event.Records[0].s3.object.key.replace(/\+/g, ' ')
      );

      const params = {
        Bucket: bucket,
        Key: key,
      };

      try {
        const {Body} = await s3.getObject(params).promise();

        const fileBuffer = new Buffer(Body, 'base64');
        const fileTypeInfo = fileType(fileBuffer);

        if (
          typeof fileTypeInfo !== 'undefined' &&
          fileTypeInfo &&
          imageTypes.includes(fileTypeInfo.mime)
        ) {
          console.log('FILE IS OKAY.');
        } else {
          await s3
            .deleteObject(params, function(err, data) {
              console.log('FILE IS NOT AN IMAGE.');
              if (err) {
                console.log('FAILED TO DELETE.');
              } else {
                console.log('DELETED ON S3.  ATTEMPTING TO DELETE ON SERVER.');

                const url =
                  `http://MYSERVERHERE:4000/api/event/${params.Key.split('.')[0]}`;

                const options = {
                  method: 'DELETE',
                  uri: url,
                };

                request(options)
                  .then(function(response) {
                    console.log('RESPONSE: ', response);
                  })
                  .catch(function(err) {
                    console.log('ERROR: ', err);
                  });
              }
            })
            .promise();
        }
        return Body;
      } catch (err) {
        const message = `Error getting object ${key} from bucket ${bucket}. Make sure they exist and your bucket is in the same region as this function.`;
        console.log(message);
        throw new Error(message);
      }
    };

这让我发疯了好几天了。感谢您提供任何帮助来解释为什么我会从这样的Lambda函数中得到意想不到的结果。

2 个答案:

答案 0 :(得分:2)

请在更新您的 else 部分后检查并正确使用 await

  

请尝试以下代码。

exports.handler = async (event, context) => {
  // Get the object from the event and show its content type
  const bucket = event.Records[0].s3.bucket.name;
  const key = decodeURIComponent(
    event.Records[0].s3.object.key.replace(/\+/g, ' ')
  );

  const params = {
    Bucket: bucket,
    Key: key,
  };

  try {
    const {Body} = await s3.getObject(params).promise();

    const fileBuffer = new Buffer(Body, 'base64');
    const fileTypeInfo = fileType(fileBuffer);

    if (
      typeof fileTypeInfo !== 'undefined' &&
      fileTypeInfo &&
      imageTypes.includes(fileTypeInfo.mime)
    ) {
      console.log('FILE IS OKAY.');
    } else {
      await s3.deleteObject(params).promise(); //fail then catch block execute
        console.log('DELETED ON S3.  ATTEMPTING TO DELETE ON SERVER.');

        const url =
          `http://MYSERVERHERE:4000/api/event/${params.Key.split('.')[0]}`;

        const options = {
          method: 'DELETE',
          uri: url,
        };

        let response = await request(options); ////fail then catch block execute
        console.log(response);
      }
    return Body;
  } catch (err) {
    console.log(err);
    const message = `Error getting object ${key} from bucket ${bucket}. Make sure they exist and your bucket is in the same region as this function.`;
    console.log(message);
    throw new Error(message);
  }
};

答案 1 :(得分:1)

S3删除操作最终在所有区域都是一致的。

因此与AWS相当(已捕获相关信息),

  • 一个进程删除一个现有对象,并立即尝试读取它。在删除完全传播之前,Amazon S3可能会返回删除的数据。
  • 进程删除现有对象,并立即在其存储桶中列出键。在删除完全传播之前,Amazon S3可能会列出删除的对象。

参考:https://docs.aws.amazon.com/AmazonS3/latest/dev/Introduction.html#ConsistencyModel