奇怪的 Nginx 的 upstream timed out 引起响应 502
今天查看我的 MogileFS 的图片集群,发现很多的日志响应 502 的错误.很是奇怪.然后细细的查看 nginx 输出的 error 的日志,发现大量的超时 upstream timed out (110: Connection timed out) while reading response header from upstream.
当时就在想难道 MogileFS 处理能力有这么差.
认真的调节了所有的 Nginx 连接后端代理的所有设置.但怎么样都没有改善.都实在快想放弃时,想到看看系统日志.
这时系统日志报了大量的如下的信息:
nf_conntrack: table full, dropping packet.
nf_conntrack: table full, dropping packet.
nf_conntrack: table full, dropping packet.
nf_conntrack: table full, dropping packet.
nf_conntrack: table full, dropping packet.
nf_conntrack: table full, dropping packet.
nf_conntrack: table full, dropping packet.
nf_conntrack: table full, dropping packet.
nf_conntrack: table full, dropping packet.
nf_conntrack: table full, dropping packet.
所以开始怀疑是这个引起的,网上找了一些参数来调节:
Centos 6 系列:
net.nf_conntrack_max = 655360 net.netfilter.nf_conntrack_max = 655350 net.netfilter.nf_conntrack_tcp_timeout_established = 1200
如上的参数,可以让这些的连接以更加小的超时来放弃记录.另外,会给增加默认的记录.
可以从
# cat /proc/net/nf_conntrack|wc -l 80385
看看当前有多少条这个记录.
当然,如果你不用 state 跟踪的功能,可以选择弃用conntrack 模块.所以就不会出现这种问题.根据上面设置完以后, Nginx 就工作正常,不在出现这种连接上的异常了.不用 Iptables 就关掉 iptables 这个就会没有.
建议继续学习:
- 配置Nginx+uwsgi更方便地部署python应用 (阅读:105399)
- 搜狐闪电邮箱的 Nginx/Postfix 使用模式 (阅读:32526)
- 解析nginx负载均衡 (阅读:14507)
- Nginx模块开发入门 (阅读:9871)
- 检查nginx配置,重载配置以及重启的方法 (阅读:9093)
- Cacti 添加 Nginx 监控 (阅读:8919)
- Nginx+FastCgi+Php 的工作机制 (阅读:8852)
- nginx的配置文件 (阅读:8821)
- 解决IE6从Nginx服务器下载图片不Cache的Bug (阅读:7099)
- 解决 nginx 反向代理网页首尾出现神秘字符的问题 (阅读:7073)
扫一扫订阅我的微信号:IT技术博客大学习
- 作者:扶 凯 来源: 扶凯
- 标签: 502 Nginx upstream
- 发布时间:2012-06-07 23:09:00
- [54] IOS安全–浅谈关于IOS加固的几种方法
- [52] android 开发入门
- [52] 如何拿下简短的域名
- [51] 图书馆的世界纪录
- [49] Go Reflect 性能
- [49] Oracle MTS模式下 进程地址与会话信
- [47] 【社会化设计】自我(self)部分――欢迎区
- [46] 读书笔记-壹百度:百度十年千倍的29条法则
- [35] 程序员技术练级攻略
- [27] 视觉调整-设计师 vs. 逻辑