系统架构 -- IT技术博客大学习 -- 共学习共进步！

• 挑战邮箱搜索（续一）

首先是排序的问题。Lucene 默认的排序考虑了很多因素，套用到邮箱搜索的结果里，很多时候反而显得结果很混乱，不同文件夹，不同时间，不同主题，不同发件人的邮件混在一起，更严重的是，已读邮件和未读邮件混在一起了：已读和未读邮件的 css 样式是不一样的，混在一起的结果就是，界面看起来非常混乱。

• p2p数据分发

分享下2年前做过的一个传输项目，比较粗糙，当年的相关文档找不全了:( 背景：运维中经常遇到这类传输需求，A生成数据，然后将数据分发到下游B1,B2,B3….Bn。传统的做法有如下几种： A生成数据文件后，顺带生成flag（标记文件）。下游机器配置定时任务，定期探测A机器的数据是否生成，当生成后通过wget下载 A生成数据文件后，直接通过scp将数据推送到下游机器。上述方式一般都采用系统命令和SSH信任关系，对系统依赖较强...

• 新版twitter背后的技术

如果要评2010最牛逼的网站改版，除了豆瓣就是Twitter了（开个玩笑）。那天看了新版twitter的介绍视频，相当兴奋，那种感觉就像04年看到gmail。面对未知的新时代，一部分人在畅想，一部分人在抵触，只有小部分人在行动。Twitter很快交出了他们的答卷。今天看到Twitter官方发表的博文“The Tech Behind the New Twitter.com”，总结了新版twitter背后的技术，值得一读。（下面的内容不是翻译，是我的理解） API客户端新版背后的一...

• 挑战邮箱搜索

邮箱搜索与其它的搜索引擎最大的区别莫过于每个用户只能搜索自己的邮件内容。搜索引擎一般都是开放性的搜索，每个用户都有权访问所有的索引项目，每次搜索请求都会在所有的索引项目中进行匹配。而邮箱搜索是私密搜索，每个用户只能访问索引中很小的一部分数据，相应的，也就可以将每个用户的索引单独存放，以加快建索引和搜索的速度。

• 关于这段时间的技术评审

这段时间除了忙项目外，还在参加游戏部门的程序技术评审。我是 6 人评审委员会成员之一。这项工作逐渐收尾了，所以随便写点东西总结一下。只是我的个人想法，不代表任何其他同事和公司。我想我们尽量做到公平公正，这个是努力方向。至于公开…… ，好吧，现在还做不到，未来争取吧。写这篇东西，算是私下为“不公开”开一个小口。在我看来，网易的管理一直都是稍显混乱的。管理层很薄弱，相比公司更重视研发技术，管理方面要差的多...

• 我对技术方向的一些反思

关于SSD 去年，我们曾经使用了一批SSD的PC，用来做数据库的服务器，用来提高数据库服务器的IO能力。但是从目前的使用情况来看，如果将SSD作为主存储，存在一些问题：首先，SSD的稳定性还不够好，我们碰到了一些SSD盘损坏和SSD与机器不兼容的情况发生。第二，SSD的容量盘都比较小，考虑到稳定性的问题，如果做RAID会进一步损失容量，性价比不高。第三，SSD属于NAND类型的flash，写操作不仅会产生“磨损”，而且随着碎片的不断增...

• [演讲稿]OAuth1.0协议

[演讲稿]OAuth1.0协议，删除了公司相关信息的阉割版:)

• Microstrategy 8.1.2 Web Universal 集群及相关学习

1 web服务器集群的使用和设置方法就不在这里重复了，这些东西随处都可以搜索的到。要说的是在Microstrategy 8.1.2 Web Universal中，使用集群要注意的几个方面。首先，状态的存取方式问题，可以使用session、也可以使用cookie。大部分是用的都是cookie存取，session存取是需要关注集群的session同步问题的，而cookie保存在客户端，没有太多的限制，比较方便。在管理员web设置的安全性选项中，默认会话信息是保存在Web Server上的...

• 使用 Gearman 实现分布式处理

因为近来在研究 Mogilefs 的分布文件系统，在读读这个的源码，别外，为公司新设计了一个下载的系统，所以更加要深入研究一下，因为这个好东西是 Perl 写的，真不容易，在读这个的时间发现了几个好东西，其中一个就是我现在要提到的 Gearman ，这是个分布的任务分发的框架。使用 Perl 写的。后来用 C 重写了其中一些部分。作者 Brad Fitzpatrick 大神开发的 Gearman, 他原来是 livejournal 的成员，设计最初也是用于LiveJournal的图片 resize 功能,目前是 Google 的成员.

• 游戏资源的压缩、打包与补丁更新

9 年前，我设计了网易游戏的资源包以及补丁包的数据格式。当初的设计目的是：方便解析，快速定位资源包内的文件，方便更新、每次更新尽可能的节约带宽。这些年来，虽然各个项目修修补补的改进了资源包的格式，但本质上并没有特别大的修改。一开始我们直接把需要打包的文件连接起来，在文件末尾附上文件索引表。当初为了快速定位文件名，文件名做了 hash 处理，可以用 hash 值直接定位文件。而资源包里并没有储存文件名信息，而是保...

• 核心业务系统数据库平台迁移： Oracle -> MySQL

为了对核心技术拥有更多的自主控制能力，为了解决数据库的线性扩展问题，为了尽量减少对商业软件的依赖，为了摆脱对高端硬件的依赖，为了… 基于以上多种原因，2年前，我们计划将公司某核心应用平台进行大手术：数据库平台从软件到硬件全部重构。当然，这其中应用架构的改造也不可避免的进行了大换血。这个项目无论是从技术角度还是是业务角度来说，都对我们有着非常大的价值，也必定会带来非常深远的影响。项目历时2年多，...

• 深入理解OAuth与豆瓣OAuth test

OAuth从出生似乎得到了太多业界的关照..几大被墙网站都有OAuth验证API..今天在群里聊天.有人问我:国内除了豆瓣人人新浪微博.还有哪个提供api了?我一时语塞..为国内的环境感到一丝凄凉..扯远了..我们今天就来分析一下OAuth..怎么来用OAuth.写这篇文章的原因就是我学习OAuth协议的时候..搜索到一些文章..都是出自一个叫[OAuth开发文档.docx]的文档中的..比较笼统..并且不容易理解..所以我想我有必要用我自己的话来描述一下OAuth协议....

• Proto Buffers in Lua

Google 的 Jeff Dean 同学说，设计分布式系统一定要有 Protocol Description Language。Google Proto Buffers 的意义在于，定义了一个不错的 PDL 。protobuffers 的实现反而不那么重要了。这几天我一直在倒腾 lua 下的 proto buffers 的支持。一直在思考，怎样的接口才是最适合 lua 使用的。大多数语言下的 proto buffers 实现，都是将编码的数据块展开成本地语言的数据结构。对于 C/C++ ，这是最高效的形式。但对于动态语言，那就...

• 前端优化总结

前段时间简单的研究了下前端优化相关的知识，本文算是一个阶段性的总结，或者当做一个优化的参考List。前言前端是庞大的，包括HTML、CSS、Javascript、Image、Flash等等各种各样的资源。前端优化是复杂的，针对方方面面的资源都有不同的方式。那么，前端优化的目的是什么？ 1. 从用户角度而言，优化能够让页面加载得更快、对用户的操作响应得更及时，能够给用户提供更...

• 中等规模网站的UGC图片存放规划

好像现在是个网站就允许用户上传头像，其中一部分还允许上传相册、个性背景图之类的东西。对图片的规划各村都有各村的高招，这里只是抛砖引玉、提个醒：当文件膨胀到一定规模的时候再去改就来不及了，在一个项目的草创时期，让一个人多花两个星期的时间来琢磨这个“小”问题也绝对称不上是过度设计。

• 降低应用latency方法谈

上个月发的谈团队每周技术交流引起不少同行感兴趣，如果那篇文章能起到促进业界公司内部技术交流那就是最大的贡献了。上周五我们继续内部技术讨论，对某Java Web应用进行了latency分析。Latency主要是分析一个URL高并发请求下消耗时间的分布。

• Memcache mutex设计模式

周六的S2 Web 2.0技术沙龙上介绍了memcache中使用mutex场景，有网友对详情感兴趣，简单介绍如下。场景 Mutex主要用于有大量并发访问并存在cache过期的场合，如首页top 10, 由数据库加载到memcache缓存n分钟微博中名人的content cache, 一旦不存在会大量请求不能命中并加载数据库需要执行多个IO操作生成的数据存在cache中, 比如查询db多次问题在大并发的场合，当cache失效时，大量并发同时取不到cache，会同一瞬间去访问db...

• 人人网Feed系统架构分析

我今天跟大家分享这个内容是人人网系统架构，里面我们会讲到跟新鲜事相关的一些技术和开源一些项目，希望对大家今后工作有一些帮助。首先我要讲我们新鲜事系统在SNS的主要功能。我要在人人网发一个日志，可以很及时高效迅速的在我朋友圈、粉丝圈子里面可以看到，我朋友可以很快回复跟我进行一个很快的交互。我必须保证系统高效运转，同时要稳定。对于我们这样一个SNS网站来说，包括SNS还有微博这样一些系统，很重要一点是当发生特殊事件时会有一个爆发效应。前两天世界杯，我不是一个足球迷，那天晚上我就睡了。两点我手机不停的响，我说怎么回事，我以为同事更新服务，想了想可能今天晚上是什么比赛比较火，第二天早上说是德国队进球了。系统遇到这种事情会有一个脉冲式的爆发，去年春节晚会赵本山小品刚开始，整个系统会非常爆炸式的报警，所以对于我们系统来说我们需要解决很多的突发事件给我们带来的压力，保证我们系统有足够的稳定性。

• Xvfb+YSlow+ShowSlow搭建前端性能测试框架

工具介绍 Xvfb: 主要就是通过内存计算模拟出图形界面，没有平常所见的操作界面，分为客户端和服务器 YSlow: 当Firefox浏览网页时，可以分析网站的页面（基于Yahoo 14条评分原则），并指出如何进行优化提高网站性能 ShowSlow:收集YSlow的测试结果并显示出来 Ubuntu：开源的Linux系统，界面越来越向Windows靠近框架简介对于前端的童鞋我相信YSlow已经耳熟能详了，基于雅虎的评分规则对页面进行评分的Firefox插件，从中我们可以看...

• 随便说说对应用程序框架设计看法

最近在修改别人遗留的一个程序，里面的底层框架是他人写的一个MVC类的东西，让我很是不爽，本人一直是一个框架艺术的爱好者。所以，很看不惯一些东西，心存鄙视，借此发泄一下，也讲讲我心里的框架设计吧。先讲讲...