宝塔面板网站日志分析:快速定位恶意爬虫与异常访问IP
网站日志是服务器的黑匣子。谁访问了、访问了什么、从哪来的、用什么客户端、返回什么状态码,全记在里面。但日志文件动辄几百MB甚至几个GB,直接打开看不现实。学会用命令分析和宝塔面板工具快速定位异常,是站长必备技能。
Nginx访问日志默认路径:/www/wwwlogs/域名.access.log。错误日志在域名.error.log。日志格式默认是:
$remote_addr -$remote_user [$time_local] "$request" $status$body_bytes_sent "$http_referer" "$http_user_agent"
每行的含义:客户端IP、时间、请求方法和路径、HTTP版本、状态码、发送字节数、来源页、用户代理。
快速看日志尾部最新请求:
tail -100 /www/wwwlogs/example.com.access.log
实时监控日志:
tail -f /www/wwwlogs/example.com.access.log
按IP统计访问量,找访问最多的IP:
awk '{print $1}' /www/wwwlogs/example.com.access.log | sort | uniq -c | sort -rn | head -20
输出前20个最活跃的IP。正常用户一天访问几十到几百次,爬虫可能几千上万次。如果某个IP一小时访问了几万次,大概率是恶意爬虫或者CC攻击。
按状态码统计。看有没有大量404,可能是被扫目录:
awk '{print $9}' /www/wwwlogs/example.com.access.log | sort | uniq -c | sort -rn
大量404加大量不同URL路径,是扫描器在找漏洞。大量500说明程序有错误。大量403可能是被WAF拦了或者权限问题。
找恶意爬虫。看User Agent字段:
awk -F'"' '{print $6}' /www/wwwlogs/example.com.access.log | sort | uniq -c | sort -rn | head -20
常见的恶意UA:空UA、python-requests、curl、wget、SemrushBot、AhrefsBot、MJ12bot等。搜索引擎蜘蛛如Googlebot、Bingbot是正常的,但也要验证是不是伪装的。验证方法:反查IP的PTR记录,看是不是真的属于搜索引擎。
按URL路径统计,找被频繁访问的接口:
awk '{print $7}' /www/wwwlogs/example.com.access.log | sort | uniq -c | sort -rn | head -20
如果看到wp-admin、wp-login.php、xmlrpc.php、.env、.git/config被大量访问,是WordPress定向攻击。看到phpMyAdmin、admin.php、login.php说明在扫通用后台。
按时间窗口分析。看某个时段是不是有突发流量:
awk '{print $4}' /www/wwwlogs/example.com.access.log | cut -d: -f1-2 | sort | uniq -c
按小时统计请求数,找流量峰值时段。
宝塔面板里的日志分析。面板网站管理里有访问日志和错误日志的查看入口,能在线浏览和搜索。但面板没有统计分析功能,只能看不能汇总。装网站监控报表插件能做可视化分析,按IP、URL、UA、状态码分类统计,生成图表。
实时封禁恶意IP。找到恶意IP后:
iptables -A INPUT -s 恶意IP -j DROP
或者用fail2ban自动封。宝塔防火墙里也能加IP黑名单。
robots.txt配合。不想让某些爬虫抓取的路径写进robots.txt,但恶意爬虫不遵守,只能靠封IP。正规搜索引擎遵守robots规则。
CC攻击识别。同一IP在极短时间内大量请求同一URL或者随机URL,状态码全是200或者全是444,这是CC攻击。用上面的命令找IP,然后iptables或者宝塔防火墙封掉。如果是分布式CC,IP分散,得靠WAF规则拦UA或者请求频率。
日志切割和清理。日志文件太大影响分析也占磁盘。宝塔计划任务里设日志切割,按天切割压缩,旧日志保留30天。或者写脚本自动清理:
find /www/wwwlogs/ -name ".log" -mtime +30 -delete
分析思路总结。先看总量有没有异常峰值,再按IP找大户,按URL找异常路径,按UA找恶意爬虫,按状态码找错误。四步走下来,日志里藏的问题基本都能挖出来。

发表评论