AWS Batch-多节点并行批次示例

时间:2018-11-28 20:53:32

标签: amazon-web-services aws-lambda aws-batch

我们正在寻找用于将大型机批处理流程迁移到AWS的解决方案选项。 当前有8个COBOL批处理序列。第一个批处理读取VSAM查找并将DB2记录作为输入,处理并将输出传递给批处理2,依此类推。 52个这样的序列,每个序列8个批处理,并行运行,每月两次。

我们正在考虑使用AWS Batch实施此操作: 1.现有的本地应用程序将VSAM文件和DB2输出放入S3存储桶中。 2.触发了一个AWS Lambda函数,这又产生了一个新的AWS Batch流程 3.这将是一个多节点批处理,具有8个作业/任务/节点。每个节点都是从现有大型机批处理过程中写入的Java应用程序的docker映像。因此,将有8个此类Java应用程序在docker容器中运行。这些应该按以下顺序调用:1-> 2 .....-> 8。 4.每次将文件插入S3存储桶时,都会重复步骤2和3。并行约52批。

我的问题: 1.在互联网上找不到与上述用例有关的任何案例研究或文档。如果有人设计了这样的东西,您可以分享细节或架构吗? 2. 8个节点/作业/任务/ java应用程序如何交互? AWS Batch是否提供开箱即用的东西,或者Java应用程序需要自定义代码进行交互,例如共享数据库集成模式中的aws rds? 3. AWS Batch是否具有针对多节点并行批处理的开箱即用监控功能?我可以手动开始停止作业或批处理吗? 4.如何定义执行8个作业的顺序? 5.除了AWS Batch,还有其他更简便,更具成本效益的解决方案吗?

先谢谢了。 吉加尔

0 个答案:

没有答案