如何使用AWS Batch多节点并行作业实现并行化

Question

我有一个SQS队列，当我的S3存储桶发生任何CREATE事件时，该队列将填充json消息。

消息包含存储桶和对象名称

也有包含python脚本的Docker映像，该脚本将从sqs读取消息。借助该消息，它将从S3下载相应的对象。最后，脚本将读取该对象并将一些值放入dynamodb中。

1。当作为单个作业提交到AWS批处理时，我可以实现上述用例。但这很耗时，因为我有80k个对象，平均大小为300 MB。

1. 作为多节点并行作业提交时。作业陷入“运行”状态，主节点进入失败状态。

注意：对象类型为车辆记录仪中的MF4（测量文件）。因此需要下载到本地以使用asammdf读取对象。

问题1：如何使用AWS批处理多节点并行作业。

问题2：我可以尝试其他任何服务来实现并行性吗？

有例子的答案会更有帮助。

谢谢?

Answer 1

我认为您正在寻找的是AWS Batch Array Jobs，而不是MNP Jobs。 MNP作业用于将一项作业分散到多个主机（MPI或NCCL）。