IT技术博客大学习 共学习 共进步

Twitter架构图(cache篇)

Tim[后端技术] 2009-11-08 11:19:19 浏览 5,982 次

    根据网上公开资料整理的Twitter架构,主要是cache方面,加了作者自己的补充,跟实际的架构未必完全一致。

    twitter cache

一些数据:

  • Cache分Page cache, fragment cache, row cache, vector Cache, cache命中率见图。
  • Fragment cache存放了API各种请求格式的数据,包括XML, JSON, RSS, ATOM。
  • 发表Tweets是先放入Kestrel, 再异步处理,Kestrel用的也是memcached协议。
  • API requests: 550 r/s。
  • POST tweets: 峰值:平时 80tweets/s, 奥巴马就任时达到 350tweets/s。
  • Aggregator模块需要访问memcached multi get  数百个/s。
  • Ruby on Rails前面还用了Varnish作前端反向代理。

参考资料:

建议继续学习

  1. Twitter/微博客的学习摘要 (阅读 12,083)
  2. Buffer和cache的区别是什么? (阅读 7,841)
  3. 别得瑟了,你很可悲! (阅读 7,803)
  4. 谈冷热数据 (阅读 6,882)
  5. Linux操作系统中内存buffer和cache的区别 (阅读 6,341)
  6. 学习:一个并发的Cache (阅读 5,963)
  7. 关于Linux的文件系统cache (阅读 5,823)
  8. 7个示例科普CPU Cache (阅读 5,262)
  9. 详解MyISAM Key Cache(前篇) (阅读 4,881)
  10. [squid] 过期时间在 60 秒内 squid 不 Cache 的问题 (阅读 4,861)