我正在评估在临时云虚拟机上启动任意Python任务/脚本的选项,这些虚拟机会在作业完成后关闭。我正在寻找所有云提供商,但理想的解决方案不应该是特定于供应商的。这是我发现的:
- Docker Swarm / Kubernetes / Nomad用于旋转码头工人集装箱。一切看起来都很有吸引力,但无法确认一旦任务完成就可以终止虚拟机。
- Cloud Functions / Lambdas看起来很棒,但仅适用于短期(几分钟)任务。此外,GCP仅支持JavaScript。
- 使用特定于供应商的命令从启动脚本显式地向上/向下旋转VM。直截了当,应该工作。
- AWS Batch,Azure Batch - 批处理作业的特定于供应商的服务
- AWS Data Pipeline,Azure Data Factory,Google Dataflow - 针对数据管道的特定于供应商的服务
我错过了任何好的选择吗?像Docker Swarm这样的容器编排服务是否支持多个临时VM的分配和释放来运行一次性作业?