如何在GCE中禁用整个群集的日志

Question

是否已经创建的（Yarn / Hadoop）集群可以禁用内部所有服务器的日志记录？

我找不到类似的东西。 Dataproc或Compute Engine中有什么可以帮助我禁用日志的东西吗？

Answer 1

您可以在Stacdriver中创建基于资源的排除-选择所需的DataProc集群，它将停止收集任何日志-因此为此向您收费。

转到Logs Ingestion页，选择排除，然后单击蓝色按钮“创建排除”。

作为资源类型，选择“ Cloud Dataproc群集”> your_cluster_name>所有cluster_uuid，如下所示。另外-为时间范围选择“无限制”。

填写右侧的“名称”字段，然后再次单击蓝色按钮“创建独占”。

您最多可以在StackDriver中创建50 exclusion queries。

Answer 2

一种简单的方法是在Stackdriver Logging中创建一个exclusion，以防止将来自该群集的日志提取到Stackdriver中。

Answer 3

在Google支持人员的帮助和建议下，几乎没有完整的解决方案，可以跳过整个纱线/混纺纱簇的日志记录。 仅当通过Google Cloud Page或控制台从Dataproc创建新集群时，才有可能。 应在群集属性字段中设置的属性： dataproc:dataproc.logging.stackdriver.enable成为false

更多信息，请访问：https://cloud.google.com/dataproc/docs/concepts/configuring-clusters/cluster-properties

如果通过控制台创建集群，则可以引用https://cloud.google.com/sdk/gcloud/reference/dataproc/clusters/create#--properties并使用以下命令：

 gcloud.cmd --properties 'dataproc:dataproc.logging.stackdriver.enable=false'