Prometheus 监控体系搭建:从指标采集到告警配置

Prometheus 监控体系搭建:从指标采集到告警配置

监控是 SRE 工作的基础,而 Prometheus 凭借其强大的多维数据模型和 PromQL 查询语言,已成为云原生监控的事实标准。本文从零开始搭建一套完整的监控体系。

首先部署 Prometheus 核心组件,配置服务发现自动采集 Kubernetes 集群指标:

示意图
示意图
global:
  scrape_interval: 15s
  evaluation_interval: 15s

scrape_configs:
  - job_name: "kubernetes-pods"
    kubernetes_sd_configs:
      - role: pod
    relabel_configs:
      - source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_scrape]
        action: keep
        regex: true

自定义 Exporter 的开发也很简单,以下是一个使用 Go 实现的业务指标采集器:

var (
    httpRequestsTotal = prometheus.NewCounterVec(
        prometheus.CounterOpts{
            Name: "http_requests_total",
            Help: "Total number of HTTP requests",
        },
        []string{"method", "path", "status"},
    )
)

func init() {
    prometheus.MustRegister(httpRequestsTotal)
}

func metricsHandler(w http.ResponseWriter, r *http.Request) {
    promhttp.Handler().ServeHTTP(w, r)
}

AlertManager 的告警规则需要精心设计,避免告警风暴。我们采用了分级策略:P0 级别(服务不可用)立即通知值班人员,P1 级别(延迟升高)5 分钟内通知,P2 级别(资源使用率偏高)仅在工作时间通知。配合路由分组和抑制规则,确保每条告警都有价值。