Kubernetes根据任务划分的Pod数量

时间:2018-10-09 14:12:57

标签: parallel-processing kubernetes containers kubernetes-jobs

我有一个要使用kubernetes解决的特定处理任务。基本概念是我要处理的工作队列中有一定数量的项目。可以将项目添加到队列,并在Pod完成处理后将其删除。 首选的工作流程为:

  • 定义豆荚的最大数量(例如40个)
  • 将项目推送到队列(例如20)
  • 根据队列中的项目数创建窗格数(=> 20)
  • 当吊舱仍在处理20个物料时,另外40个物料被推入队列,从而又创建了20个吊舱(达到最大数量),并且第一个完成后,将立即创建附加的吊舱,直到到达队列末尾。

使用kubectl是否有内置解决方案?使用作业模式,我可以定义并行Pod的数量,但这些Pod一直在运行,直到成功为止,而没有根据其他条件进行扩展。

感谢您的帮助!

1 个答案:

答案 0 :(得分:1)

使用Horizontal Pod Autoscaler。您可能必须定义自定义指标才能获取队列中的项目数,并在HPA中使用它。