网站日志分析实战 通过访问日志定位异常流量与攻击来源
日志是服务器最诚实的记录。网站被攻击、被爬、被刷、被挂马,日志里全写着,只是大部分人从来不看,或者看了也只盯着500错误。会读日志的人,能在业务还没感知到异常之前就把问题解决掉。
Nginx访问日志默认在/var/log/nginx/access.log,格式一般在nginx.conf里定义:
log_format main '$remote_addr -$remote_user [$time_local] "$request" '
'$status$body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
每一行记录一次请求,包含IP、时间、请求方法URL、状态码、响应大小、来源页、UA、真实IP(经过CDN时)。理解每个字段是分析的前提。
最常见的分析需求是看谁在打你。一条命令找出请求最多的IP:
awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -rn | head -20
如果某个IP几千几万次请求,而且集中在特定接口,基本就是CC或扫描。再细看它打的是哪:
grep "1.2.3.4" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -10
如果集中打wp-login.php、xmlrpc.php、wp-admin、/admin、/phpmyadmin,就是撞库或暴力破解。打/api/、/checkout/、/search这种接口,可能是CC或刷接口。
按URL统计请求量:
awk '{print $7}' /var/log/nginx/access.log | sort | uniq -c | sort -rn | head -20
如果某个静态资源被疯狂请求,可能是被盗链或爬虫没做限流。如果某个PHP文件不在你站点里却被频繁访问,说明有人在扫漏洞文件。
按时间窗口看流量突增:
awk '{print $4}' /var/log/nginx/access.log | cut -d: -f1-2 | sort | uniq -c
按小时统计请求数,发现某个小时请求量突然是平时的十倍,就是攻击或爬虫爆发。再配合状态码看:
awk '$9 ~ /^5/' /var/log/nginx/access.log | wc -l
5xx错误突然增多,源站扛不住了,可能是慢查询、内存满、PHP-FPM进程池耗尽。
User-Agent分析能识别爬虫和工具:
awk -F'"' '{print $6}' /var/log/nginx/access.log | sort | uniq -c | sort -rn | head -20
看到python-requests、Go-http-client、curl/、sqlmap、Nikto、WPScan这些UA,不是正常用户。但注意UA可以伪造,不能只靠UA判断,要结合请求频率和行为模式。
CDN后的真实IP分析。开了CDN后$remote_addr全是CDN节点IP,要看$http_x_forwarded_for。但X-Forwarded-For可以伪造,靠谱CDN会传真实IP到特定头如CF-Connecting-IP(Cloudflare)或X-Real-IP,Nginx配置里用real_ip模块还原:
set_real_ip_from 0.0.0.0/0;
real_ip_header X-Forwarded-For;
real_ip_recursive on;
还原后日志里的$remote_addr就是真实用户IP,分析才有意义。
自动化监控比人肉看日志靠谱。GoAccess实时看访问面板:
apt install goaccess
goaccess /var/log/nginx/access.log -o /var/www/html/report.html --log-format=COMBINED --real-time-html
浏览器打开report.html就能看实时访客、热门URL、状态码分布、带宽消耗。或者写Shell脚本定时分析,超过阈值的IP自动加iptables或ufw封禁,再发告警到钉钉。
日志轮转必须配。/etc/logrotate.d/nginx里设:
/var/log/nginx/*.log {
daily
missingok
rotate 14
compress
delaycompress
notifempty
create 0640 www-data adm
sharedscripts
postrotate
systemctl reload nginx
endscript
}
不然access.log一天能涨几个GB,磁盘直接写满。宝塔用户面板里有日志切割功能,本质也是logrotate,确认开着就行。
定位到恶意IP后怎么处理。轻量攻击ufw deny from IP直接封;大量IP分散攻击用fail2ban或CDN的IP黑白名单;HTTP层攻击在Nginx用limit_req限流:
http {
limit_req_zone $binary_remote_addr zone=api:10m rate=10r/s;
limit_req_zone $binary_remote_addr zone=login:10m rate=1r/s;
}
server {
location /api/ { limit_req zone=api burst=20 nodelay; }
location /wp-login.php { limit_req zone=login burst=5; }
}
登录接口限1次/秒,API接口限10次/秒,突发允许少量排队。比iptables灵活,不影响正常用户。
日志分析的核心思维是:先看总量趋势找异常时段,再按IP、URL、UA、状态码分层下钻,定位到具体攻击模式和来源,最后用自动化手段封禁加持续监控。日志不是出事了才翻的档案,是日常就该扫一眼的仪表盘。哪天你发现日志里有个IP在凌晨三点用sqlmap扫了四千次,而你的网站还活着,那种感觉比装十层防火墙都踏实。

发表评论