如何为数据流工作者使用stackdriver?

时间:2015-10-29 16:52:00

标签: google-cloud-dataflow

my previous question开始跟进,以便能够监控工作人员的数据流池。

目标是让数据流生成的工作人员使用已经安装了堆栈驱动程序的映像并直接向 stackdriver console

  • 创建安装了驱动程序的ubuntu映像
  • 使用基本图像的API密钥注册的驱动程序
  • 通过options.setDiskSourceImage(...)
  • 为数据流工作人员使用图片

尽管执行了上面的步骤,但我的stackdriver控制台中没有显示任何实例。有什么想法吗?

1 个答案:

答案 0 :(得分:1)

建议的解决方案不起作用。如果要在VM上启动stackdriver代理(或任何代理),有两种方法可以执行此操作。

  1. 在项目级别,使用启动脚本元数据变量在启动时在所有VM上运行脚本。
    • 配置此脚本以安装和配置堆栈驱动程序代理
    • 如果您不想在所有VM上运行此脚本,则需要执行此操作
      • 覆盖您不想运行脚本的VM上的启动脚本元数据变量,或
      • 将启动脚本配置为不对非Dataflow VM执行任何操作。
  2. 创建一个进程(与您的数据流作业分开),该进程将ssh插入每个Dataflow VM并安装并运行代理。
  3. 免责声明除非您有强烈而直接的需求,否则我建议不要实施任何一种解决方案。这两种解决方案都依赖于Dataflow当前的内部工作,而不是任何外部合同的一部分。因此,如果Dataflow的实施发生变化,这两种解决方案都可能会在没有任何警告的情况下中断。

    将自定义磁盘映像与Dataflow一起使用不是一个可行的选择。标记diskSourceImage已弃用,将在以后的SDK版本中删除。不再支持它的原因是因为Dataflow服务依赖于VM映像中的版本化资源。因此,Dataflow需要控制VM映像,以便我们可以根据需要进行升级。如果用户提供自己的自定义映像,我们无法使它们与Dataflow服务的要求保持同步。