您现在的位置：首页
--> 系统架构
大概在08年，那时候nosql的概念特别热，最早的那批开源项目好多参考google bigtable来设计，我也关注过其中的几个，比如hypertable，couchdb之类，阅读了一些相关的文档和博文，没有太跟进，那些开源项目的设计scope太大，想解决google都不一定很好解决的问题，事实上国内能真正碰到那种数据规模的人少，很少，极少；迁移的成本也很高，我们的项目大多构建在mysql+memcached上，关系型的操作很多，这种key-value或者类key-value的...
Leveldb是一个google实现的非常高效的kv数据库，目前的版本1.2能够支持billion级别的数据量了。 在这个数量级别下还有着非常高的性能，主要归功于它的良好的设计。特别是LSM算法。 那么数据库最怕的的随机IO他是如何解决的呢？ 先说随机写，它的写都是先记录到日志文件去的，在日志文件满之前只是简单的更新memtable,那么就把随机写转化成了顺...
最近针对ZK一些比较疑惑的问题，再看了一下相关代码，列举如下。这里只列官方文档中没有的，或者不清晰的。以zookeeper-3.3.3为基准。以下用ZK表示ZooKeeper。 一个ZooKeeper对象，代表一个ZK Client。应用通过ZooKeeper对象中的读写API与ZK集群进行交互。
由于公司业务需要，花两周时间实现了一个小型的支付系统，麻雀虽小五脏俱全，各种必须的模块如账户加锁，事务性保证，流水对帐等都是有完整实现的，整个开发过程中有很多经验积累，...
近期准备迁移一台旧机器上的应用，发现以前搞的一个从oracle数据库推送数据到hadoop hdfs里的程序，share思路给大家。 基本的思路流程如下： 按rowid切分oracle table
前段时间在做JIS旺铺装修项目的数据开发，整个过程逻辑非常之纠结，有好几处HIVE代码本身无法满足，因此写了四个python的streaming，在此 跟大家分享下，以后有需要用到相似逻辑的同学可以拿去稍微改改直接用。 1）输出某行数据之前所有的数据； 本实例输入为按照第三个参数分组的数据集，每组中逐条输出所有数据，直到遇到第四个参数为零时则停止输出： import sys def main(): flag = ” shop_id = R...
Redis 是支持多key-value数据库(表)的,并用 RedisDb 来表示一个key-value数据库(表). redisServer 中有一个 redisDb *db; 成员变量, RedisServer 在初始化时,会根据配置文件的 db 数量来创建一个 redisDb 数组. 客户端在连接后,通过 SELECT 指令来选择一个 reidsDb,如果不指定,则缺省是redisDb数组的第1个(即下标是 0 ) redisDb. 一个客户端在选择 redisDb 后,其后续操作都是在此 redisDb 上进行的. 下面会详细介绍一下 redisDb 的内存结构.
Microsoft云存储服务分为两个部分，SQL Azure和Azure Storage。云存储系统的可扩展性和功能不可兼得，必须牺牲一定的关系数据库功能换取可扩展性。Microsoft实现云存储的思路有两种： 1, 做减法。SQL Azure直接在原有的SQL Server上引入分布式的因素，在满足一定可扩展性的前提下尽可能不牺牲原有的关系型数据库功能。SQL Azure的可扩展性是有限的，单个SQL Azure实例不允许超过50GB，这是因为SQL Azure不支持子表动态分裂，单个SQ...
• 抵制代码重写
昨天，一位老上级邀请我一起吃午餐。当坐在哪里等待上菜时，我们缅怀起早期这个公司的往事。他有一句话让我心里一虚： 啊，你这个判官…我记得当你看到Dan(公司的第一位程序员)写的代码时的样子。你说：“这代码写的真烂，需要重写！” 我恐怕是没有足够的勇气告诉他，我这“代码需要重写”的主张是错误的。不错，我认为这代码写的很乱。但是，据过去历次的经验，我感觉大部分...
说到性能，我们脑海中会即可浮现出一系列优化策略，如异步加载、延时渲染、减少http、请求等等。这些传统的优化策略我们依然适用，事实上模块化的开发模式可以让异步加载做的更彻底，当交互事件发生时，除了向服务器请求相应的html文档片段外，还可以在此之后，加载js模块，这无非进一步减少了页面加载时http请求的收发数据量，对提高页面性能是大有裨益的。
消息是提醒用户有更新的内容，可能短信、邮件、好友申请和日程安排。消息的作用在于主动提醒用户，不需要主动刷新程序或者网页去检查更新，比如Android的sina微博，必须手动刷新程序才能更新微博或者查看好友申请。这种做法可以节省流量，对于手机包月用户而言非常有必要的。用户专注于当前任务时，可以接收到其他应用程序推送的消息，用户可以及时处理多任务。 推送机制 最基础的方法是程序实时联网获取消息，但是程序会占用内存...
金山游戏官方网站包括用户中心、客服系统、论坛、视频、各游戏官网，以及其他跟游戏相关的一些产品，主要采用64位CentOS Linux系统、Nginx、PHP 5.2版本、MySQL 5.5。
根据我现有的阅读和谈话，我所理解的今天Facebook的架构如下： Web 前端是由 PHP 写的。Facebook 的 HipHop [1] 会把PHP转成 C++ 并用 g++编译，这样就可以为模板和Web逻贺业务层提供高的性能。 业务逻辑以Service的形式存在，其使用Thrift [2]。这些Service根据需求的不同由PHP，C++或Java实现（也可以用到了其它的一些语言……） 用Java...
• 理解云计算
现在互联网最热门的关键字“云计算”，大大小小的公司纷纷加入到这块领域。简单来说，目前的“云计算”主要分为：SaaS、PaaS和IaaS三大类。 其中SaaS云计算，为软件即服务的概念。把传统客户端软件部署在互联网上，用户只需要一个浏览器就可以使用到软件的模式。其实早在2000年就已经有B/S结构的软件服务，与现在所说的SaaS云计算相近，但此前的B/S结构软件服务，数据库等服务端是需要用户自行部署的，而非由软件提供商进...
如今使用HTTP协议定制API已经是十分常见的事情，在普通的GET和POST请求中传递些参数估计人人都会，但是如果我们需要上传文件呢？如果只是传递单个文件，那么将数据流POST给服务器端即可。但如果需要上传多个文件，或是在文件之外需要附带一些信息，那么又该怎么做呢？之前我遇到过一些朋友是这么打算的，他们说，不如就把文件流转化为文本，然后把它当作一个普通的字段传递。这么做自然可以“实现功能”，但缺点也很多。首先，将二...
今天突然想到的，先记下来。 以前考虑过这个问题，写过一篇 blog 。我今天想到，其实可以把排队完全独立出来。和原有系统分离。这样，所有不支持排队的游戏系统，只要简单加上就可以用了，不用对系统结构做大的调整。 想法是这样的：游戏系统需要估计自己的环境大约可以支持一定时间段多少人可以进入。这个用来估算每个新用户的大致等待时间。 游戏系统采用一个以时间为演算因子的序列 key ，用来做进入的验证。
近3天十大热文
-
[11] 产品设计之QQ邮箱登录页与淘宝登录页 -
[10] 五个实用的Google Analytics过
-
[10] 逃出你的肖申克（五）：看不见的牢笼（上）
-
[9] 读书：谣言
-
[9] 分布式系统的事务处理
-
[9] Python连接 MySQL 数据库的超时问
-
[8] 关于不得不在python中使用代理访问网络的
-
[8] 浅述各平台系统交互设计的不同关注点
-
[8] [Perl]Moose::Manual::T
-
[8] 数据与理论结合，让交互设计更专业
赞助商广告
