奇怪的 Nginx 的 upstream timed out 引起响应 502
这篇讲的是一个典型的线上环境 Nginx 502 错误排查案例。作者在运维 MogileFS 图片集群时，发现了大量 502 错误，Nginx 错误日志直指后端 upstream 连接超时。起初，排查方向聚焦在调整 Nginx 与后端服务的各种代理参数上，但问题依旧，一度让人无从下手。 转机出现在查看系统日志时，发现了大量“nf_conntrack: table full, dropping packet”的告警。这揭示了问题的根源并非应用层处理能力不足，而是 Linux 内核的网络连接跟踪表（conntrack）已满，导致新的网络连接无法建立，从而引发超时和 502。 最终，通过调整系统内核参数，包括提升 conntrack 表的最大条目数（nf_conntrack_max）和调整 TCP 连接超时时间（nf_conntrack_tcp_timeout_established），问题得以解决。这个案例提醒我们，在排查 Web 服务超时问题时，除了应用和中间件配置，也需要关注操作系统层面的资源限制。