如何为处理文件集合的并行作业设置Kubernetes

时间:2018-03-19 21:46:13

标签: parallel-processing kubernetes jobs volume persistent

所以我基本上都在寻找任何可以指出我正确方向的人来设置Kubernetes来对许多工作项执行常规计算,其中每个工作项都是一个单独的文件。

我一直在阅读文档here,它似乎表明它是可能的,示例显示的是单词排队,只是打印单词,但是,我遇到了持久卷的问题。 / p>

我最终需要的是一个部署,它将获取包含数据点的大文件并将其拆分为多个文件。 然后我希望Job对象执行多个pod,每个文件一个,在将文件传回部署进行后处理之前执行计算。

我无法找到如何转移文件,从我看来,似乎PersistentVolume不能同时绑定到多个pod。 那么如何将文件传递到作业中的单个窗格?

非常感谢任何建议或总体方向。

1 个答案:

答案 0 :(得分:1)

  

PersistentVolume不能同时绑定到多个pod。

是否在节点/窗格之间共享PV(或不是)由accessMode确定;并非所有PV都普遍仅限于一个Node / Pod

如该页面上的图表所示,有许多PV技术可以容忍ReadWriteMany,其中最着名的是NFS