我们拥有100个Google Cloud PubSub主题/订阅,DataFlows和BigQuery / BigTable表格。
我可以列出pubsub主题:
gcloud beta pubsub topics list
我可以使用xargs并为每个主题列出其订阅:
gcloud beta pubsub topics list-subscriptions $topic_id
我可以列出所有BigQuery表:
bq ls [project_id:][dataset_id]
和所有BigTable表:
cbt -project $project -instance $instance ls
我可以列出所有正在运行的DataFlow作业:
gcloud beta dataflow jobs list --status=active
但我无法列出所有来源和接收器:
gcloud beta dataflow jobs describe $job_id
- 不显示此信息
如果我们有1000个流量,队列&表格 - 我不知道如何轻松跟踪这种复杂性。
我的问题是:使用Google云端工具(控制台和/或CLU),如何获取系统流量源的鸟瞰图?下沉并避免分发意大利面?
答案 0 :(得分:0)
控制台中有一些可用于每项工作的信息。
如果单击say,PubSubIO.Read步骤,则可以在那里看到Pubsub主题。在管道摘要中,您可以看到可以包含输出表名称和您指定的其他选项的管道选项。
后一个摘要可通过CLI获得。当您使用“--full”检索信息时,它位于“displayData”下。