最小批处理作业应为AWS批处理

时间:2018-09-17 05:49:54

标签: amazon-web-services amazon-ec2 aws-batch

说我有大量的计算工作,我可以将其分为任意数量的小块/批次。假设我可以根据需要使每个批处理作业变小或变大,那么一个批处理应该在最短的时间内执行?我最初的想法是,如果ec2实例仅执行1个作业然后终止,那么批处理的时间不应少于60秒,而文档How are EC2 instance-hours billed?至少要花60秒,但是还应注意批次本身的限制:AWS Batch Service Limits。但是,假设我处于AWS Batch服务限制之内。

我还对我的用例进行了一些实验,以改变工作量,发现随着批量大小的增加,所需的ec2总时间减少了。总的来说,我发现我的最佳选择是我的批处理大小应使得执行需要一分钟以上的时间。这使我接近完成整个工作所需的最小ec2实例时间。 (ec2时间是所有实例所使用的所有时间的总和)。我目前的想法是使此时间大约为1.5分钟,这样一来,如果某些作业的执行速度比其他作业快,则不可能小于1分钟。 >

我发现很难在这方面找到最佳实践,人们使用哪些准则或最佳实践来确定批处理工作的规模?

0 个答案:

没有答案