系统架构 -- IT技术博客大学习 -- 共学习共进步！

• 我为什么选择MongoDB

大概在08年，那时候nosql的概念特别热，最早的那批开源项目好多参考google bigtable来设计，我也关注过其中的几个，比如hypertable，couchdb之类，阅读了一些相关的文档和博文，没有太跟进，那些开源项目的设计scope太大，想解决google都不一定很好解决的问题，事实上国内能真正碰到那种数据规模的人少，很少，极少；迁移的成本也很高，我们的项目大多构建在mysql+memcached上，关系型的操作很多，这种key-value或者类key-value的...

• leveldb性能分析和表现

Leveldb是一个google实现的非常高效的kv数据库，目前的版本1.2能够支持billion级别的数据量了。在这个数量级别下还有着非常高的性能，主要归功于它的良好的设计。特别是LSM算法。那么数据库最怕的的随机IO他是如何解决的呢？先说随机写，它的写都是先记录到日志文件去的，在日志文件满之前只是简单的更新memtable,那么就把随机写转化成了顺...

• ZooKeeper解惑

最近针对ZK一些比较疑惑的问题，再看了一下相关代码，列举如下。这里只列官方文档中没有的，或者不清晰的。以zookeeper-3.3.3为基准。以下用ZK表示ZooKeeper。一个ZooKeeper对象，代表一个ZK Client。应用通过ZooKeeper对象中的读写API与ZK集群进行交互。

• 一个典型支付系统的设计与实现

由于公司业务需要，花两周时间实现了一个小型的支付系统，麻雀虽小五脏俱全，各种必须的模块如账户加锁，事务性保证，流水对帐等都是有完整实现的，整个开发过程中有很多经验积累，...

• 日本的 Perl 项目 CloudForecast 分布样式监控系统

又一日本的项目，日本的 Perl 水平真不错，共享精神更加是好。相关的服气他们的这些啊。下面介绍的这个项目是很久以前见到的，不错的东西。介绍给大家。

• 微格式：让网页更加语义化

微格式（Microformat），是建立在已有的、被广泛采用的标准基础之上的一组简单的、开放的数据格式。是把语义嵌入到HTML以便有助于分离式开发而制定的一些简单约定，是兼顾人机可读性设计的数据表达方式，对Web网页进行语义注解的方法。这种方法依托于标准的Web页面写作技术，例如，XHTML，这样引入语义信息对浏览器等所有现存的Web技术冲击最小。采用Microformat的 Web页面，在XHTML文档中给一些标签（Tag）增加一些属性（attribut...

• 一种oracle2hdfs的数据推送思路

近期准备迁移一台旧机器上的应用，发现以前搞的一个从oracle数据库推送数据到hadoop hdfs里的程序，share思路给大家。基本的思路流程如下：按rowid切分oracle table

• 几个HIVE的streaming

前段时间在做JIS旺铺装修项目的数据开发，整个过程逻辑非常之纠结，有好几处HIVE代码本身无法满足，因此写了四个python的streaming，在此跟大家分享下，以后有需要用到相似逻辑的同学可以拿去稍微改改直接用。 1）输出某行数据之前所有的数据；本实例输入为按照第三个参数分组的数据集，每组中逐条输出所有数据，直到遇到第四个参数为零时则停止输出： import sys def main(): flag = ” shop_id = R...

• Redis内存存储结构分析

Redis 是支持多key-value数据库(表)的,并用 RedisDb 来表示一个key-value数据库(表). redisServer 中有一个 redisDb *db; 成员变量, RedisServer 在初始化时,会根据配置文件的 db 数量来创建一个 redisDb 数组. 客户端在连接后,通过 SELECT 指令来选择一个 reidsDb,如果不指定,则缺省是redisDb数组的第1个(即下标是 0 ) redisDb. 一个客户端在选择 redisDb 后,其后续操作都是在此 redisDb 上进行的. 下面会详细介绍一下 redisDb 的内存结构.

• Microsoft Azure Storage架构分析

Microsoft云存储服务分为两个部分，SQL Azure和Azure Storage。云存储系统的可扩展性和功能不可兼得，必须牺牲一定的关系数据库功能换取可扩展性。Microsoft实现云存储的思路有两种： 1, 做减法。SQL Azure直接在原有的SQL Server上引入分布式的因素，在满足一定可扩展性的前提下尽可能不牺牲原有的关系型数据库功能。SQL Azure的可扩展性是有限的，单个SQL Azure实例不允许超过50GB，这是因为SQL Azure不支持子表动态分裂，单个SQ...

• 抵制代码重写

昨天，一位老上级邀请我一起吃午餐。当坐在哪里等待上菜时，我们缅怀起早期这个公司的往事。他有一句话让我心里一虚：啊，你这个判官…我记得当你看到Dan(公司的第一位程序员)写的代码时的样子。你说：“这代码写的真烂，需要重写！” 我恐怕是没有足够的勇气告诉他，我这“代码需要重写”的主张是错误的。不错，我认为这代码写的很乱。但是，据过去历次的经验，我感觉大部分...

• 淘宝2011彩票首页开发实践

说到性能，我们脑海中会即可浮现出一系列优化策略，如异步加载、延时渲染、减少http、请求等等。这些传统的优化策略我们依然适用，事实上模块化的开发模式可以让异步加载做的更彻底，当交互事件发生时，除了向服务器请求相应的html文档片段外，还可以在此之后，加载js模块，这无非进一步减少了页面加载时http请求的收发数据量，对提高页面性能是大有裨益的。

• 浅析手机消息推送设计

消息是提醒用户有更新的内容，可能短信、邮件、好友申请和日程安排。消息的作用在于主动提醒用户，不需要主动刷新程序或者网页去检查更新，比如Android的sina微博，必须手动刷新程序才能更新微博或者查看好友申请。这种做法可以节省流量，对于手机包月用户而言非常有必要的。用户专注于当前任务时，可以接收到其他应用程序推送的消息，用户可以及时处理多任务。推送机制最基础的方法是程序实时联网获取消息，但是程序会占用内存...

• 各消息队列软件产品大比拼

我花了一周的时间评估比较了一下各种消息队列产品，非常的有趣。我做这个事的动机是因为一个客户有一个很高性能需求。他们的消息信息突破了1百万个并发。目前他们使用的是SQL server，并不理想，我建议他们使用消息队列服务器。为了对一些相似的候选产品获得一个全面的但是粗浅的性能上的了解，我们它们放在一起做了个测试。我让每个消息产品各发送和接受1百万千条1K的消息...

• 用一堆Gem来架起你的Rails3机枪

在Hack News上看到一篇文章：Rails 3: Fully Loaded，里面介绍了很多Rails 3 Gems，遂将其拷贝过来，“以此存档”。

• PHP在金山游戏运营中的应用

金山游戏官方网站包括用户中心、客服系统、论坛、视频、各游戏官网，以及其他跟游戏相关的一些产品，主要采用64位CentOS Linux系统、Nginx、PHP 5.2版本、MySQL 5.5。

• Facebook 的系统架构

根据我现有的阅读和谈话，我所理解的今天Facebook的架构如下： Web 前端是由 PHP 写的。Facebook 的 HipHop [1] 会把PHP转成 C++ 并用 g++编译，这样就可以为模板和Web逻贺业务层提供高的性能。业务逻辑以Service的形式存在，其使用Thrift [2]。这些Service根据需求的不同由PHP，C++或Java实现（也可以用到了其它的一些语言……）用Java...

• 理解云计算

　　现在互联网最热门的关键字“云计算”，大大小小的公司纷纷加入到这块领域。简单来说，目前的“云计算”主要分为：SaaS、PaaS和IaaS三大类。　　其中SaaS云计算，为软件即服务的概念。把传统客户端软件部署在互联网上，用户只需要一个浏览器就可以使用到软件的模式。其实早在2000年就已经有B/S结构的软件服务，与现在所说的SaaS云计算相近，但此前的B/S结构软件服务，数据库等服务端是需要用户自行部署的，而非由软件提供商进...

• 模拟HTML表单上传文件（RFC 1867）

如今使用HTTP协议定制API已经是十分常见的事情，在普通的GET和POST请求中传递些参数估计人人都会，但是如果我们需要上传文件呢？如果只是传递单个文件，那么将数据流POST给服务器端即可。但如果需要上传多个文件，或是在文件之外需要附带一些信息，那么又该怎么做呢？之前我遇到过一些朋友是这么打算的，他们说，不如就把文件流转化为文本，然后把它当作一个普通的字段传递。这么做自然可以“实现功能”，但缺点也很多。首先，将二...

• 服务器排队系统的一点想法

今天突然想到的，先记下来。以前考虑过这个问题，写过一篇 blog 。我今天想到，其实可以把排队完全独立出来。和原有系统分离。这样，所有不支持排队的游戏系统，只要简单加上就可以用了，不用对系统结构做大的调整。想法是这样的：游戏系统需要估计自己的环境大约可以支持一定时间段多少人可以进入。这个用来估算每个新用户的大致等待时间。游戏系统采用一个以时间为演算因子的序列 key ，用来做进入的验证。