如何在任何给定时间检查Google Cloud Platform中正在使用的Dataproc集群的数量？

Question

如何在任何给定时间检查Google Cloud Platform中正在使用的Dataproc集群的数量？ 如果是，我们也需要在GCP中可视化它的方法。

Answer 1

您可以使用gcloud dataproc clusters list列出项目中的所有Cloud Dataproc。此命令还可以按状态，标签等过滤群集。对于您而言，过滤后的命令应如下所示：

$ gcloud dataproc clusters list \
    --filter='status.state = RUNNING'

您还可以列出项目和特定区域with the Dataproc API中的所有群集。 projects.regions.clusters.list方法还接受过滤器。我为API方法链接的文档中列出了可用的过滤器，gcloud命令也使用这些过滤器。

有关其他监视选项，请检查Stackdriver monitoring for Cloud Dataproc

Answer 2

您对先前答案our requirement to get the list of specific clusters which are in running state but they are not being used from quite some time的评论使我认为您的最终目标是删除未使用的集群。一种自动执行此操作的方法是使用计划删除功能[1]，该功能可以在一段时间不活动后自动删除未使用的群集。

gcloud beta dataproc clusters create ... --max-idle=2d

[1] https://cloud.google.com/dataproc/docs/concepts/configuring-clusters/scheduled-deletion