如何在Prometheus中为磁盘空间配置警报

Question

我们在Win Server框上运行了prometheus，在单独的框（客户端）上运行了WMI导出器。 能够在Prometheus中读取客户端指标。现在的要求是当Diskspace => 90％时，发送电子邮件警报，以便我们可以运行作业以使用自动作业/手动作业来清理空间。

请提供有关如何为> 90的磁盘空间配置警报的帮助

Answer 1

假设您正在使用https://github.com/martinlindhe/wmi_exporter/blob/master/docs/collector.logical_disk.md，则可以按照以下方式使用某些内容，以使使用率超过90％

  - alert: DiskSpaceUsage
expr: 100.0 - 100 * (wmi_logical_disk_free_bytes / wmi_logical_disk_size_bytes) > 90
for: 10m
labels:
  severity: high
annotations:
  summary: "Disk Space Usage (instance {{ $labels.instance }})"
  description: "Disk Space on Drive is used more than 90%\n  VALUE = {{ $value }}\n  LABELS: {{ $labels }}"

wmi_exporter存储库上还有其他示例 对于默认的node_exporter指标（不确定Windows是否可用），应该是

- alert: DiskSpace10%Free
     expr: 100 - (100 * node_filesystem_avail_bytes / node_filesystem_size_bytes) > 90
     labels:
       severity: moderate
     annotations:
       summary: "Instance {{ $labels.instance }} is low on disk space"
       description: "diskspace on {{ $labels.instance }} is used over {{ $value }}% ."
´´´

Answer 2

要基于警报发送电子邮件通知，您需要使用prometheus设置alertmanager。这是指南，该怎么做

[https://github.com/prometheus/alertmanager][1]

还可以配置警报规则。我正在使用节点导出器来获取节点指标并使用以下规则

- alert: DiskSpace10%Free
     expr: node_exporter:node_filesystem_free:fs_used_percents >= 90
     labels:
       severity: moderate
     annotations:
       summary: "Instance {{ $labels.instance }} is low on disk space"
       description: "{{ $labels.instance }} has only {{ $value }}% free."

您可以根据WMI导出器配置上述规则，您将可以使用。希望这会有所帮助。

Answer 3

您可能要根据是否要装满来发出警报，而不是根据装满程度来发出警报：

- name: node.rules
  rules:
  - alert: DiskWillFillIn4Hours
    expr: predict_linear(node_filesystem_free{job="node"}[1h], 4 * 3600) < 0
    for: 5m
    labels:
      severity: page

https://www.robustperception.io/reduce-noise-from-disk-space-alerts