系统架构 -- IT技术博客大学习 -- 共学习共进步！

为了提高检索系统查询处理能力,我们提出基于用户群体行为分析的搜索引擎自动评价方法.该方法利用搜索引擎用户查询、点击行为的宏观分析,自动挑选适用于搜索引擎评价的查询集合,并进一步自动定位对应这些查询的标准答案.由于挑选查询集合和标准答案的过程由计算机自动完成,因此可以及时、准确、客观地反映搜索引擎的真实性能.

• Yupoo（又拍网）的系统架构

Yupoo的服务器端开发语言主要是PHP和Python，其中PHP用于编写Web逻辑(通过HTTP和用户直接打交道)，而Python则主要用于开发内部服务和后台任务。在客户端则使用了大量基于MooTools框架的Javascript。另外，Yupoo把图片处理过程从PHP进程里独立出来变成一个服务。这个服务基于nginx，作为nginx的一个模块开放REST API。

• SNS 背后的技术: 消息流的推拉模式选择

从存储的角度来说, 拉模式一定会节省资源, 因为消息都是一个源, 而接收者可能有多个, 如果收件箱和发件箱同时存在, 则所有的收件箱大小应该等于发件箱乘上单条消息的平均接受人数, 按一般理论上 SNS 平均好友数量是 150~200 的规模算, 拉模式比推模式节省 150~200 倍的存储空间, 另外考虑到好友更多的用户活跃度更高, 因而这个数字会更大, 再者人人网存在公共主页和小站小组等超大规模接收者的实体, 微博只限制单个用户收听其他人的数量而不限制单个用户被多少人收听, 所以这个差异还会更大。

• Ceph的现状

Ceph是统一分布式存储系统，具有优异的性能、可靠性、可扩展性。Ceph的底层是RADOS(可靠、自动、分布式对象存储)，可以通过LIBRADOS直接访问到RADOS的对象存储系统。RBD(块设备接口)、RADOS Gateway(对象存储接口)、Ceph File System(POSIX接口)都是基于RADOS的。

• 解析Google集群资源管理系统Omega

Google公布了它的下一代集群管理系统Omega(下载地址)的设计细节。论文中谈到Google经历的三代资源调度器的架构，分别是中央式调度器架构(类似于Hadoop JobTracker，但是支持多种类型作业调度)、双层调度器架构(类似于Apache Mesos和Hadoop YARN)和共享状态架构(就是Omega)，并分别讨论了这几个架构的优缺点。

• 对.net系统架构改造的一点经验和教训

当一个网站出现严重的技术问题，其根源往往都不是单纯的技术问题，也不是单纯换个CTO就可以药到病除的，要反思公司企业文化是不是从来没有重视过研发，对技术团队的激励到位了吗？对架构师的意见重视过吗？对未来可能面临的技术门槛是否有过长期的研发投入？

• 如何设置一个永远无法删除的Cookie

在网站统计中，我们最常用的是用 Cookie标识身份，由于浏览器自带的 Cookie容易被用户删除。于是很多人使用 Flash Cookie来跟踪用户的信息。但是在目前360等软件帮助下，删除Flash Cookie也变得非常的简单。那么有没有什么方法让Cookie无法删除呢？答案是有的！做开发的基本上都理解灾备机制。即一台服务器如果出现了故障，则可由由另一台恢复回去。比如Cookie一旦删除后，这可通过Flash Cookies进行恢复。另外，除了Cookie和Flash Cookie外，到底还有哪些方式可以用来进行“用户识别”。

• 在线协同编辑的实现

类似google doc，协同编辑就是能够让多人同时编辑同一份文档。用过版本控制的童鞋都知道，用版本控制的一个好处就是，可以方便的多人共同去做一个项目，但有时大家会对同一个文件的同一行进行了修改，这时merge代码的时候，就需要你去手工去解决冲突，而协同编辑同样也面临冲突的问题，这时候就是程序实时的自动去解决冲突了。

• whatsapp深度使用Erlang有感

这么多年过去了，社区还在讨论erlang是不是小众语言，各种怀疑的时候，whatsapp已经把erlang用到了极致。 whatsapp是什么？参见它的官网 WhatsApp Messenger is a cross-platform mobile messaging app which allows you to exchange messages without having to pay for SMS. 更为搞笑的是主要开发者Rick Reed（rr@whatsapp.com），之前在Yahoo!, SGI工作，有着深厚的系统性能的背景。

• Web应用的缓存设计模式

从10年前的2003年开始，在Web应用领域，ORM(对象-关系映射)框架就开始逐渐普及，并且流行开来，其中最广为人知的就是Java的开源ORM框架Hibernate，后来Hibernate也成为了EJB3的实现框架；2005年以后，ORM开始普及到其他编程语言领域，其中最有名气的是Ruby on rails框架的ORM － ActiveRecord。如今各种开源框架的ORM，乃至ODM(对象-文档关系映射，用在访问NoSQLDB)层出不穷，功能都十分强大，也很普及。

• 多核与异步并行

我们在设计多线程程序时往往有很多性能指标，例如低延迟（latency），高吞吐量（throughput），高响应度（responsiveness）等。随着多核处理器上CPU核数的日益增加，如何高效地利用这些计算资源以满足这些设计目标变得越来越重要。这次向大家介绍的异步并行就是一种帮助实现低延迟、高吞吐量和高响应度的并行编程技术。

• 实践中的重构

许多人问过我这样的问题，要不要拿出专门的时间做重构。作为一个程序员，重构就应该和写代码、写测试一样，是我们日常工作的一部分，只要你写代码，就应该重构。特别是当你在做TDD的时候，如果你只写测试，编代码通过，对不起，那根本不叫TDD，那叫测试先行。目前为止，我还没有见过一个程序员，包括我自己在内，写代码是一遍就写得非常整洁，无需重构的。通常都是第一遍写出的代码只能实现功能，然后，把它重构得符合整洁的要求。这里要说的重点是，别讨论专门拿时间做重构，那就是你日常工作的一部分。

• 代码审查：ThoughtBot官方给出的代码审查指导原则

这篇文章的内容由github官方提供，指导你如何在github上进行代码审查和如果让别人审查自己的代码。针对所有人的审查：接受这样的事实：很多编程上的主张都是一种个人观点。应该讨论它们的利与弊，提出你的倾向观点，迅速的达成一种解决方案

• 并发框架Disruptor译文

Martin Fowler在自己网站上写了一篇LMAX架构的文章，在文章中他介绍了LMAX是一种新型零售金融交易平台，它能够以很低的延迟产生大量交易。这个系统是建立在JVM平台上，其核心是一个业务逻辑处理器，它能够在一个线程里每秒处理6百万订单。业务逻辑处理器完全是运行在内存中，使用事件源驱动方式。业务逻辑处理器的核心是Disruptor。Disruptor它是一个开源的并发框架，并获得2011 Duke’s 程序框架创新奖，能够在无锁的情况下实现网络的Queue并发操作。

• 发布及其检查的自动化实践

这里记录的是Dubbo注册中心的发布过程中的自动化改进点。实践是通用的，希望可以能给你一些借鉴和启发。 Dubbo注册中心记录整个网站服务信息，服务消费者（Consumer）通过注册中心获得服务提供者（Provider）列表，才能完成服务调用。注册中心是网站服务的一个关键组件。

• web前端性能优化进阶路

Web前端性能优化WPO，相信大多数前端同学都不会陌生，在各自所负责的站点页面中，也都会或多或少的有过一定的技术实践。可以说，这个领域并不缺乏成熟技术理论和技术牛人：例如Yahoo的web站点性能优化黄金法则，以及大名鼎鼎的优化大师Steve Souders。本文并非一篇讨论性能优化技术方法的文章，而更多的是对中文站搜索List页面持续两年多的前端性能优化实践的思路总结。希望对正在从事这个领域研究的前端同学能有所帮助。

• 数据开发技术概述

简介：本节课是数据开发技术的入门课程，结合大淘宝数据平台数据平台及开发技术的演进过程，详细讲解目前在用的主要数据开发技术，并且为大家呈现出目前主要的数据开发技术框架图，最后在未来超海量数据的大背景下，数据同学应该主动结合系统痛点进行技术应用。

• Pixel light 中的场景管理

这几天无意中发现一款开源的 3d engine ，名为 pixel light 。文档虽然不多，但写的很漂亮。从源码仓库 clone 了一份，读了几天，感觉设计上有许多可圈可点的地方，颇为有趣。今天简略写一篇 blog 和大家分享。

• 微观架构及宏观架构

大部分工程师包括架构师都是从微观架构起步的。微观架构指在一个局部的领域达到设计及实现的合理性，比如写一个排序的程序，达到时间空间复杂性的合理性，同时在代码的易读性、扩展性及可维护性方面也达到一个合理的标准。但一个系统中不仅只是存在微观问题，宏观架构指一个更高层级的，全局领域的策略及架构设计，通过架构来最终达到对产品或系统在效率、成本上的收益。当系统变大之后，宏观架构的问题更突出，也更能取得收益。

• Ubuntu工作机使用FlashCache技术加速

Flashcache是facebook的一个开源项目，用于数据库加速中．大致结构，在传统磁盘前面放置一个ssd装置，充当缓存，把热的数据保持在缓存中，写的过程也是在先写ssd然后由ssd同步到传统磁盘．真正的数据最终还是保持在传统磁盘中．这样ssd杯掉也不用担心数据丢失．同时又可以有大容量，高性能的体验．