将大数据发送到AWS Lambda函数

Question

我计划通过修改AWS S3存储桶上的对象来调用AWS Lambda函数。我还需要将大量数据发送到AWS Lambda函数。如何以有效的方式将数据发送给它？

Answer 1

我会使用另一个S3存储桶首先发送数据，然后从Lambda函数

中使用它

Answer 2

您的Lambda函数应该只读取大数据所在的数据库。

假设您在S3上修改的对象包含 - 在对象内部或作为对象名称 - 您需要从数据库中获取数据的某种类型的外键：

A）如果你的Lambda可以直接访问数据库：那么你可以让你的lambda函数直接查询你的数据库来提取数据。

B）如果您的Lambda无法直接访问数据库：那么请考虑根据需要将数据从数据库克隆到安全的S3存储桶，以便在它们被触发/需要时由lambda访问。将数据克隆为S3作为JSON或其他易于阅读的格式作为业务案例的逻辑对象（订单，客户，等等）。如果可能的话，这种方法对Lambda来说是最快/最有效的。

Answer 3

我最近通过在调用lambda函数之前压缩数据来做到这一点。这对于大多数编程语言来说非常容易。根据您的数据库内容，这将是一个更好或更糟的解决方案。我的数据库的内容有很多数据重复，并且非常好地压缩。