Prometheus 监控体系搭建:从指标采集到告警配置
监控是 SRE 工作的基础,而 Prometheus 凭借其强大的多维数据模型和 PromQL 查询语言,已成为云原生监控的事实标准。本文从零开始搭建一套完整的监控体系。
首先部署 Prometheus 核心组件,配置服务发现自动采集 Kubernetes 集群指标:
global:
scrape_interval: 15s
evaluation_interval: 15s
scrape_configs:
- job_name: "kubernetes-pods"
kubernetes_sd_configs:
- role: pod
relabel_configs:
- source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_scrape]
action: keep
regex: true
自定义 Exporter 的开发也很简单,以下是一个使用 Go 实现的业务指标采集器:
var (
httpRequestsTotal = prometheus.NewCounterVec(
prometheus.CounterOpts{
Name: "http_requests_total",
Help: "Total number of HTTP requests",
},
[]string{"method", "path", "status"},
)
)
func init() {
prometheus.MustRegister(httpRequestsTotal)
}
func metricsHandler(w http.ResponseWriter, r *http.Request) {
promhttp.Handler().ServeHTTP(w, r)
}
AlertManager 的告警规则需要精心设计,避免告警风暴。我们采用了分级策略:P0 级别(服务不可用)立即通知值班人员,P1 级别(延迟升高)5 分钟内通知,P2 级别(资源使用率偏高)仅在工作时间通知。配合路由分组和抑制规则,确保每条告警都有价值。