使用AWS步骤函数处理大量数据？

Question

我们希望使用AWS步骤功能处理CSV文件中的大量数据，但我们不确定这是否是最佳选择。

我们的用例如下： - 我们上传了一个包含大量行（如50K）的CSV，每行我们处理一个小的traitements（每个traitement由lambda函数处理）。 目前，我们认为最好的选择是在DynamoDB中插入CSV中的每一行，并为每一行启动lambda函数。

你怎么看待这个？

Answer 1

使用Lambda处理大型文件有多种模式。

• 一种方法是使用Lambda函数来拆分大文件并将部件委托给worker Lambda函数。
• 如果部件的处理步骤足够复杂，您可以触发多个步骤功能工作流程。

在您提出的方法中，如果每个项目处理足够大，那么逐项处理是有意义的，但通常以批量处理更有效。