服务器内核参数调优实战:提升高并发网络连接处理能力

教程其他 2026-10-19

  服务器扛不住高并发,不一定是CPU和内存不够。很多时候是内核网络参数没调,连接队列满了、端口耗尽了、TIME_WAIT堆满了,外面请求进不来,Nginx报"too many open files"或者"cannot assign requested address"。这些问题的根子都在Linux内核的网络栈配置上。

  先搞清楚几个核心概念。TCP三次握手时,内核维护两个队列:SYN队列和ACCEPT队列。SYN队列存半连接,ACCEPT队列存已完成握手等待应用程序取走的连接。队列太小,高并发时连接被丢,客户端表现就是连接超时。TIME_WAIT是连接关闭后端口保持一段时间的状态,防止延迟数据包干扰新连接。并发高的时候TIME_WAIT能堆到几万个,占满端口范围。

  查看当前连接状态分布:

  netstat -n | awk '/^tcp/ {print $NF}' | sort | uniq -c

  或者:

  ss -ant | awk '{print $1}' | sort | uniq -c

  看到TIME_WAIT特别多不用慌,这是正常现象。但要是CLOSE_WAIT多,说明应用程序没正确关闭连接,有泄漏。

  关键参数调优。编辑/etc/sysctl.conf,逐条加进去。

  net.core.somaxconn。ACCEPT队列最大长度,默认128,高并发Web服务器太小了。调到2048或4096:

  net.core.somaxconn = 4096

  对应Nginx的listen指令里也要加backlog=4096,不然Nginx自己还会限制。

  net.core.netdev_max_backlog。网卡接收数据包的队列长度,默认1000,高流量时丢包。调到5000:

  net.core.netdev_max_backlog = 5000

  net.ipv4.tcp_max_syn_backlog。SYN队列长度,默认128或1024,SYN Flood攻击或者正常高并发都会打满。调到8192:

  net.ipv4.tcp_max_syn_backlog = 8192

  net.ipv4.tcp_syncookies。开启SYN Cookie,SYN队列满了之后用cookie机制继续处理握手,防SYN Flood。设1:

  net.ipv4.tcp_syncookies = 1

  net.ipv4.tcp_tw_reuse。允许将TIME_WAIT连接用于新的出站连接,对客户端角色有用。设1:

  net.ipv4.tcp_tw_reuse = 1

  注意tcp_tw_recycle在新内核已经废弃,别用了,会破坏NAT环境连接。

  net.ipv4.ip_local_port_range。出站连接可用端口范围,默认32768到60999,约28000个。高并发反向代理场景不够用,调大:

  net.ipv4.ip_local_port_range = 1024 65535

  net.ipv4.tcp_fin_timeout。FIN_WAIT_2状态超时,默认60秒,调小到15到30秒加快端口回收:

  net.ipv4.tcp_fin_timeout = 15

  net.ipv4.tcp_keepalive_time。TCP保活探测间隔,默认7200秒太长,调到600秒:

  net.ipv4.tcp_keepalive_time = 600

  net.ipv4.tcp_max_tw_buckets。系统最大TIME_WAIT数量,默认180000,可以调大到500000防止端口耗尽:

  net.ipv4.tcp_max_tw_buckets = 500000

  文件描述符限制。每个连接占用一个文件描述符,系统默认限制很小。改/etc/security/limits.conf:soft nofile 65535 hard nofile 65535 soft nproc 65535 hard nproc 65535

  Nginx和MySQL的配置也要对应调。Nginx的worker_rlimit_nofile、worker_connections都要设大。MySQL的open_files_limit、table_open_cache跟着调。

  内存相关参数。net.core.rmem_max和wmem_max设TCP读写缓冲区上限,默认太小影响吞吐量:

  net.core.rmem_max = 16777216

  net.core.wmem_max = 16777216

  net.ipv4.tcp_rmem = 4096 87380 16777216

  net.ipv4.tcp_wmem = 4096 65536 16777216

  net.ipv4.tcp_congestion_control。拥塞控制算法,内核4.9以上支持BBR,比默认的cubic在高延迟网络表现好:

  net.ipv4.tcp_congestion_control = bbr

  BBR能显著提升跨国、跨运营商链路的吞吐。开启后测速对比明显。

  改完sysctl.conf执行sysctl -p生效。不需要重启。逐个参数改,改一个观察一下,别一口气全贴上然后出问题不知道是哪个参数导致的。

  验证调优效果。用ab或wrk压测:

  ab -n 10000 -c 100 http://你的站点/

  看每秒请求数和失败数。调优前后对比。ss -s看socket统计,看TIME_WAIT和端口使用情况。

  宝塔面板里也有内核参数调整的选项,但能改的参数有限,不如直接改sysctl.conf全面。

  常见坑。somaxconn调大了但应用程序的backlog没跟着调,白设。文件描述符limits改了但SSH会话没重新登录,新限制没生效。BBR在某些虚拟化环境下不生效,检查lsmod | grep bbr确认。参数调太激进导致内存被网络缓冲区吃光,反而影响应用。生产环境改之前先在测试机验证。

  调优的核心逻辑:连接队列放大、TIME_WAIT加速回收、端口范围扩大、文件描述符放开、拥塞算法优化。这五板斧下去,单台2核4G的机器扛几千并发没问题。

相关文章

发表评论