分配临时VM以并行化一次性批处理作业(GCP,Azure或AWS)

时间:2017-06-20 16:22:37

标签: azure amazon-web-services google-cloud-platform kubernetes docker-swarm

我正在评估在临时云虚拟机上启动任意Python任务/脚本的选项,这些虚拟机会在作业完成后关闭。我正在寻找所有云提供商,但理想的解决方案不应该是特定于供应商的。这是我发现的:

  • Docker Swarm / Kubernetes / Nomad用于旋转码头工人集装箱。一切看起来都很有吸引力,但无法确认一旦任务完成就可以终止虚拟机。
  • Cloud Functions / Lambdas看起来很棒,但仅适用于短期(几分钟)任务。此外,GCP仅支持JavaScript。
  • 使用特定于供应商的命令从启动脚本显式地向上/向下旋转VM。直截了当,应该工作。
  • AWS Batch,Azure Batch - 批处理作业的特定于供应商的服务
  • AWS Data Pipeline,Azure Data Factory,Google Dataflow - 针对数据管道的特定于供应商的服务

我错过了任何好的选择吗?像Docker Swarm这样的容器编排服务是否支持多个临时VM的分配和释放来运行一次性作业?

0 个答案:

没有答案