服务器监控告警系统搭建 实时掌握CPU内存与网络异常状态
服务器挂了才知道,是运维最大的失败。监控不是装个面板看曲线,是设好阈值、接好通知、能在用户投诉之前发现问题。很多人装了宝塔监控就觉得够了,但面板只记录不告警,半夜三点磁盘满了、内存泄漏把Swap吃光、被CC打进来,你睡醒了才看到。
最轻量的方案:cron脚本加告警。写个Shell脚本check_server.sh:!/bin/bash
CPU=$(top -bn1 | grep "Cpu(s)" | awk '{print$2}' | cut -d'%' -f1)
MEM=$(free | grep Mem | awk '{printf("%.0f"),$3/$2 * 100}')
DISK=$(df -h / | awk 'NR==2 {print$5}' | cut -d'%' -f1)
if [ "$CPU" -gt 80 ]; then
curl -s "https://oapi.dingtalk.com/robot/send?access_token=你的token" \
-H 'Content-Type: application/json' \
-d "{"msgtype":"text","text":{"content":"服务器CPU超80%: ${CPU}%"}}"
fi
if [ "$MEM" -gt 85 ]; then
# 同样发告警
fi
if [ "$DISK" -gt 90 ]; then
# 同样发告警
fi
cron每5分钟跑一次,超阈值就推钉钉或企业微信。这个方案土但有效,不依赖第三方服务,网络断了告警发不出去的问题用短信或电话告警补充。
专业方案用Prometheus加Grafana。Prometheus拉取node_exporter采集的指标,Grafana画仪表盘,Alertmanager管告警路由。node_exporter暴露上百个指标:CPU各模式使用率、内存详细分类、磁盘IO读写、网络收发包和错误、文件系统inode、TCP连接状态、进程数、负载。比面板那几个数字细得多。
告警规则示例(Prometheus Rule):
groups: name: server_alerts
rules: alert: HighCPU
expr: 100 - (avg by(instance) (irate(node_cpu_seconds_total{mode="idle"}[5m])) * 100) > 80
for: 3m
labels:
severity: warning
annotations:
summary: "CPU使用率超80%持续3分钟" alert: HighMemory
expr: (1 - (node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes)) * 100 > 85
for: 3m
labels:
severity: warning alert: DiskFull
expr: (1 - node_filesystem_avail_bytes / node_filesystem_size_bytes) * 100 > 90
labels:
severity: critical alert: HighNetworkTraffic
expr: rate(node_network_receive_bytes_total[5m]) > 50000000
labels:
severity: warning
for: 3m表示持续3分钟才告警,避免毛刺误报。severity分warning和critical,critical走电话或短信,warning走钉钉。
业务层监控比系统层更重要。系统CPU正常但PHP-FPM进程池满了、MySQL连接数打满、Redis内存用完开始淘汰key、CDN回源率突然飙升、SSL证书还有7天过期、域名还有30天到期,这些业务指标系统监控看不到。需要写自定义脚本采集:MySQL连接数、慢查询数、PHP-FPM active进程、Nginx 5xx计数、证书到期日、域名到期日,全纳入告警。
告警通知渠道分级。critical级别(磁盘满、服务宕、证书过期、被攻击)走电话或短信,确保秒级响应;warning级别(CPU高、内存高、流量突增)走钉钉或企业微信,工作时间看就行。别所有告警都发短信,会告警疲劳,真出事反而忽略。
日志监控和指标监控配合。Prometheus看趋势和阈值,ELK或Grafana Loki看日志内容。磁盘满了查什么在写,CPU高了查哪个进程,被攻击了查日志里攻击特征,日志是根因分析的工具。
监控面板要一眼看清状态。Grafana仪表盘放:CPU使用率(按核)、内存使用(分cached/buffer/used/available)、磁盘IO(读写IOPS和延迟)、网络流量(进出Mbps)、TCP连接数(ESTABLISHED/TIME_WAIT)、负载(1/5/15分钟)、MySQL状态(连接数、QPS、慢查询)、Nginx状态(请求数、5xx率)。不用每个指标都盯,但面板要能快速定位异常在哪一层。
监控之外还要有预案。告警来了知道怎么处理:CPU高先看top哪个进程;内存高看有没有内存泄漏或Swap使用;磁盘满查大文件和日志;网络突增查访问日志找异常IP;服务宕了有自动重启脚本或systemd restart。告警不是终点,是处理流程的起点。

发表评论