IT技术博客大学习 共学习 共进步
全部 移动开发 后端 数据库 AI 算法 安全 DevOps 前端 设计 开发者

Nginx HttpMemcModule和直接访问memcached效率对比测试

MySQL中文网 - 叶金荣的技术和生活 2013-09-15 22:29:26 累计浏览 4,178 次
本机暂存
  • 测试环境:

  • 测试客户机A: HP DL380G4,2个双核CPU,4G Ram,2块10k RPM SAS盘做raid 1,ext3

  • Nginx所在服务器B:DELL R710,E5620 * 2,32G Ram,6块盘15K RPM SAS盘做raid 1+0,xfs

  • Memcached所在服务器C:DELL R710,E5620 * 2,32G Ram,6块盘15K RPM SAS盘做raid 5,ext4

  • Nginx设置:keepalive 8192

  • Php fpm设置:listen.backlog = -1

  • memcached启动参数:memcached -d -m 24576 -p 12000 -c 10240

  • 内核参数:

net.ipv4.tcp_tw_recycle = 0
net.ipv4.tcp_tw_reuse = 0
net.ipv4.tcp_timestamps = 1

   关于这几个内核参数对应的解释可参考资料:2.12. Reduce TCP performance spikes

  • 测试方案:

  • 使用php连接本地nginx代理,存取远程memcached数据;

  • 使用php直接连接远程memcached服务器;

  • 从测试客户端用ab发起并发测试;

  • 并发线程从64开始,直到2048,分别是64的N倍;

  • 每种并发模式都进行5轮测试,最后取平均值;

  • 存储在memcached中的key长度96个字符,value长度400字符,总是随机生成;

  • 测试结果:

  •    NginxHttpMemcMC-vs-NativeMC-benchmark-2013091301  NginxHttpMemcMC-vs-NativeMC-benchmark-2013091302

       NginxHttpMemcMC-vs-NativeMC-benchmark-2013091303  NginxHttpMemcMC-vs-NativeMC-benchmark-2013091304

       结论及建议:

  • Php程序通过HttpMemcMC访问memcache和直接访问memcached的效率并没有太多损失;

  • 采用php直接访问memcached,失败的次数相比通过HttpMemcMC有较大增加,应该是HttpMemcMC在keepalive方面更有优势;

  • 后续会在进行一次测试,调整nginx、php及内核相关参数,再做对比;

  • 本次测试没有和正常的http请求混在一起对比,测试结果不具备绝对参考价值;

  •    单从本次测试结果来看,HttpMemcMC值得拥有 :)

  • 结果结果更新:

  •    调整上述几个内核参数:

    net.ipv4.tcp_tw_recycle = 1
    net.ipv4.tcp_tw_reuse = 1
    net.ipv4.tcp_timestamps = 1

       通过调整内核参数,调整tcp连接复用性提高tcp效率,新的测试结果如下:

       NginxHttpMemcMC-vs-NativeMC-benchmark-2013091305   NginxHttpMemcMC-vs-NativeMC-benchmark-2013091306 NginxHttpMemcMC-vs-NativeMC-benchmark-2013091307   NginxHttpMemcMC-vs-NativeMC-benchmark-2013091308

       备注:由于2次测试案例中,每并发线程请求数不一样,所以你会发现两边的数据无法直接对比,这是我的失误,抱歉。

  • 补充小结:

  •    调整完内核后:

       1. 可以发现,HttpMemc的平均效率只有NativeMC 72.62%;

       2. 调整内核tcp参数对提升tcp效率非常有帮助,Failed requests次数完全为0;

       3. 由于可以提高memcached连接复用率以及对程序透明的好处,即便HttpMemc性能不如NativeMC,损失并不是非常厉害,仍然是可以接受的;

    同分类推荐文章

    1. 等了十年的 Go 链式管道,终于来了:seq 让你像写 Scala 一样写 Go (2026-06-25 18:38:18)
    2. Go 实验特性详解 (2026-06-21 10:05:27)
    3. amd64 微架构级别对 Go 程序性能提升多少? (2026-06-21 09:38:49)

    查看更多 后端 文章 →

    建议继续学习

    1. 配置Nginx+uwsgi更方便地部署python应用 (累计阅读 107,167)
    2. 搜狐闪电邮箱的 Nginx/Postfix 使用模式 (累计阅读 33,898)
    3. 记录一个软中断问题 (累计阅读 16,957)
    4. 解析nginx负载均衡 (累计阅读 16,626)
    5. 分布式缓存系统 Memcached 入门 (累计阅读 16,246)
    6. 30分钟3300%性能提升――python+memcached网页优化小记 (累计阅读 13,743)
    7. Linux 性能监控、测试、优化工具 (累计阅读 13,013)
    8. 关于memcache分布式一致性hash (累计阅读 11,821)
    9. server日志的路径分析 (累计阅读 11,241)
    10. Nginx模块开发入门 (累计阅读 11,173)