Question

我将修改后的时间（以毫秒为单位）和文件大小保存到s3中的对象元数据中。我意识到即使打开文件也没有更改任何内容，然后保存文件而不进行编辑。修改的时间将被更改，在这种情况下，它将更新s3对象。我考虑过使用大小，但是大小也不会那么准确，因为即使修改后大小也有可能保持不变。我还使用了从Binary返回的s3.getObject和本地文件Binary，但没有任何更改。 Binary也不会相同。跟踪变化的更好，更准确的方法是什么？

我的代码中有这样的内容，它保存了修改后的ms和文件大小

fs.readFile(path, async (err, fileBinary) => {
      if (err) throw err;

      const s3 = new AWS.S3();
      const Key = path.replace(process.env.WATCH_PATH, '');
      const filename = Key.split('/').pop();

      // if filename is within the regex, ignore the file.  Do nothing.
      if (new RegExp(IGNORE_FILES_TO_S3()).test(filename)) return false;

      const getStat = await getFileStat(path);
      // console.log(getStat, 'getstatsssssssssssssss');
      const s3PutParams = {
          Body: fileBinary,
          Bucket: process.env.S3_BUCKET,
          Key,
          Metadata: {  // thought of saving these two as comparison in future usage, which works but really really accurate though
              mtimeMs: String(getStat.mtimeMs),
              size: String(getStat.size)
          }
      };
// rest of the code here just do comparisons and decide if `s3.putOjbect` should be done or not.
});

我的getFileStat()

exports.getFileStat = (path) => {
    /*
    SAMPLE: success
    {
    dev: 2097,
    mode: 33204,
    nlink: 1,
    uid: 1000,
    gid: 1000,
    rdev: 0,
    blksize: 4096,
    ino: 5639856,
    size: 2,
    blocks: 8,
    atimeMs: 1545952029779.866,
    mtimeMs: 1545952020431.9802,
    ctimeMs: 1545952020439.98,
    birthtimeMs: 1545952020439.98,
    atime: 2018-12-27T23:07:09.780Z,
    mtime: 2018-12-27T23:07:00.432Z,
    ctime: 2018-12-27T23:07:00.440Z,
    birthtime: 2018-12-27T23:07:00.440Z
    }
    */
    return new Promise((res, rej) => {
        fs.stat(path, (err, stat) => {
            if (err) rej(err);
            res(stat);
        });
    });
};

在此先感谢您的建议和帮助。

PS。这并不是将任何内容保存到数据库中，因此，如果有为了比较目的将某些内容保存到数据库中的想法，则根本不会保存任何信息

Answer 1

要将本地文件的内容与Amazon S3对象进行比较，请使用 ETag ，这是对内容的校验和。检索有关S3对象的信息时，可以使用ETag。

请参阅：All about AWS S3 ETags - Teppen.io

此外，请注意，通过分段上传上传的对象的计算要稍微复杂一些。参见：What is the algorithm to compute the Amazon-S3 Etag for a file larger than 5GB?

比较s3对象和本地对象的准确方法

1 个答案: