如何通过内容“服务器端”比较两个S3对象

Question

假设我在同一存储桶中的Amazon S3中存储了任意两个对象（作为任务的输入）。我需要按内容进行比较。不仅它们的长度和校验和是相同的，而且从字面上看，对象在字节之间是相同的。我现在要做的唯一方法是将对象的数据读入EC2上的我的应用程序中并进行比较。然而，这不是很节省时间，并且还花费了用于数据传输的金钱。 有更有效的方法吗？我能以某种方式在S3上使用服务器端代码（某种形式的lambda或类似的代码）来进行比较，而无需将数据下载到EC2吗？

Answer 1

S3用于存储，并具有一些围绕复制和版本控制的自动任务。它不处理您的数据。 S3本身不按照对象进行比较，它看到的只是字节。

即使您以lambda格式读取数据，也会收取数据传输费用。

这取决于您对高效程序的看法？具有成本效益或时间效益（不会同步阻止您的应用程序流。

1. 您上传到s3存储桶可以将事件通知发送到aws lambda，后者将读取您的对象并进行比较，然后可以存储结果（dynamo db或其他地方）。 如果您不需要实时比较，则可以查看aws lambda中的计划事件，该事件在特定间隔后运行。

Answer 2

在S3对象的ETag中也有MD5哈希，这在本例中可能足够，也可能不够。这也构成了S3库存服务的一部分，尽管会产生额外的费用，但仍可以使用该服务。显然，MD5算法不如上面的先前评论那么健壮。