使用docker进行谷歌云数据流依赖

Question

我有兴趣使用Google云数据流来并行处理视频。我的工作同时使用OpenCV和tensorflow。是否可以在docker实例中运行worker，而不是如上所述从源安装所有依赖项：

https://cloud.google.com/dataflow/pipelines/dependencies-python

我原本期望一个docker容器的标志，它已经位于谷歌容器引擎中。

Answer 1

无法修改或切换默认的Dataflow工作容器。您需要根据文档安装依赖项。

Answer 2

如果您拥有大量视频，则必须承担较大的启动费用。因此，网格计算的本质就是一般。

另一方面，您可以在作业下使用比n1-standard-1机器更大的机器，从而在较少的机器上分摊下载成本，如果处理编码，可以一次处理更多视频正确。

Answer 3

一种解决方案是通过为Non-Python Dependencies列出的setup.py选项发出pip install命令。

执行此操作将下载manylinux轮而不是需求文件处理将分阶段的源分发。