在Google Cloud中,如何查看与gPubSub主题/订阅匹配的所有DataFlow流源/接收器?

时间:2017-04-09 08:52:35

标签: google-cloud-dataflow google-cloud-pubsub

我们拥有100个Google Cloud PubSub主题/订阅,DataFlows和BigQuery / BigTable表格。

我可以列出pubsub主题 gcloud beta pubsub topics list 我可以使用xargs并为每个主题列出其订阅 gcloud beta pubsub topics list-subscriptions $topic_id

我可以列出所有BigQuery表 bq ls [project_id:][dataset_id] 和所有BigTable表 cbt -project $project -instance $instance ls

我可以列出所有正在运行的DataFlow作业 gcloud beta dataflow jobs list --status=active 但我无法列出所有来源和接收器 gcloud beta dataflow jobs describe $job_id - 不显示此信息

如果我们有1000个流量,队列&表格 - 我不知道如何轻松跟踪这种复杂性。

我的问题是:使用Google云端工具(控制台和/或CLU),如何获取系统流量源的鸟瞰图?下沉并避免分发意大利面?

1 个答案:

答案 0 :(得分:0)

控制台中有一些可用于每项工作的信息。

如果单击say,PubSubIO.Read步骤,则可以在那里看到Pubsub主题。在管道摘要中,您可以看到可以包含输出表名称和您指定的其他选项的管道选项。

后一个摘要可通过CLI获得。当您使用“--full”检索信息时,它位于“displayData”下。