系统架构 -- IT技术博客大学习 -- 共学习共进步！

• 初识PhoneGap

PhoneGap是什么？ PhoneGap是一个标准的开源框架，用PhoneGap开发移动应用是免费的，无论是商业或是开源；一个用基于HTML，CSS和JavaScript的，创建跨平台移动应用的快速开发平台。

• 我们需要专职的QA吗？

我想说明一下我观点里的这个“专职QA”是怎么定义的。其是很多公司成立的专门做测试的技术人员，仅测试不开发。这些QA对于软件开发技术并不熟悉，甚至不懂。我经历过一些公司都有专职的QA团队（专职的测试人员），自从上个公司我的开发团队在一个项目上被QA部门搞得一团糟，我越来越怀疑专职QA存在在意义。我的观点不一定对，但请让我鲜明地表达一下——我觉得是不需要全职的QA的，甚至不需要QA这一专职角色或部门，因为，不懂开发的人必然做不好测试。就像不懂开发的研发经理必然管不好研发团队一样。

• PostgreSQL参数优化对比性能测试

测试目的通过运行标准测试程序TPC-B和TPC-C，确定在不同参数和不同版本下（8.2.14 VS 8.4.2）的性能的不同，为eCop CM上PostgreSQL数据库的参数配置和版本选择提供参考。

• MHA自动Failover过程解析

MHA是一位日本MySQL大牛用Perl写的一套MySQL故障切换方案，来保证数据库系统的高可用。近期，在田老师的推动下，开始一步步深入了解这个HA方案，并也计划在公司线上尝试部署。下面的东西是这段时间的学习笔记和个人理解，没有具体的实战经验，只是人为测试模拟故障的发生，通过日志来分析MHA背后的自动切换过程。首先，介绍下它的一些特点，以及为什么用它，在哪种场合更适合用它。 1. 10-30s实现master failover(9-12s可以检测到主机故障，7-10s可以关闭主机避免SB，在用很短的时间应用差异日志) 2. 部署简单，无需对现有M-S结构做任何改动(至少3台，保证切换后仍保持M-S结构) 3. 支持手动在线切换(主机硬件维护)，downtime几乎很短0.5-2s 4. 保证故障切换后多从库数据的一致性 5. 完全自动化的failover及快速复制架构恢复方案(一主多从)

• AWS云平台系列介绍（一）：AWS平台与EC2介绍

AWS整体介绍 Amazon平台的产品分为几个部分：计算类：包含弹性计算云（EC2）和弹性MapReduce（Elastic MapReduce）这两个产品。EC2几乎可以认为是迄今为止云计算领域最为成功的产品，通俗地将，就是提供虚拟机。EC2的创新在于允许用户根据需求动态改变虚拟机实例的类型及数量，技术上支持容错并在收费模式上支持按使用量付费，而不是预付费。弹性MapReduce将Hadoop MapReduce搬到云环境中，大量EC2实例动态地成为执行大规模MapReduce计算任务的工作机。存储类：存储类产品较多，包括弹性块存储EBS，简单消息存储SQS，Blob对象存储S3，表格存储系统Simpledb和DynamoDB以及分布式数据库系统RDS。其中，EBS相当于一个分布式块设备，可以直接挂载在EC2实例上，用于替代EC2实例本地存储，从而增强EC2可靠性。

• Google Guava V11 中的Cache操作

Google Guava cache的主要功能点： * 你需要给现有系统加速； * 有些key需要不知一次的查询获取； * 从策略上讲，你的应用需要从策略上把所有的value从cache中清理出来 — 你试图减少重复的工作；[注：weakKey , weakValue] * cache仅仅存储在内存中，没有在文件中或者其他的server上面，如果不满足你的需求，可以考虑Memcached API的两种调用方式 1：普通的调用方式，通过key得到value的时间较短

• MySQL Cluster 与 MongoDB 复制及分片设计及原理

分布式数据库计算涉及到分布式事务、数据分布、数据收敛计算等等要求分布式数据库能实现高安全、高性能、高可用等特征，当然也带来了高成本（固定成本及运营成本），我们通过MongoDB及MySQL Cluster从实现上来分析其中的设计思路，用以抽象我们在设计数据库时，可以引用的部分设计方法，应用于我们的生产系统.......

• 消息系统该Push/Pull模式分析

信息推拉技术简介 “智能信息推拉（IIPP）技术”是在网上信息获取技术中加入了智能成份，从而有助于用户在海量信息中高效、及时地获取最新信息，提高了信息系统主动信息服务的能力。如果引入基于IIPP的主动信息服务系统，则可根据用户的特性提供具有针对性的、个性化的信息服务。以往在Internet上搜寻信息，最常用的方法就是浏览器发出请求后，Web就将信息传送给用户，此过程用户需要“拉取”信息而被描述为Pull；而将信息直接“推送”到用户的计算机的方法就是信息推送，称之为Push，用户只需要在初次使用时自己设定所需要的信息频道，此后，定制信息将通过Web自动传给用户。信息推拉技术智能化在传统的Client/server结构中，信息获取方式是按“拉”（Pull）的模型进行的：服务器根据用户终端发送的服务请求进行处理并返回用户所需的结果。

• Facebook 网站架构

我收集到一些文章和视频, 可以带你窥探 Facebook 的架构. Facebook 承载了几十亿的用户, 它的架构(包括思想和实现)是非常值得参考的. 当然, 你要小心不要照搬 Facebook 的每一字一句, 因为任何思想和实现都是有自己的应用场景的.

• 社交游戏之可行双机热备方案

某一天深夜，单盘配置的服务器出现硬盘损坏，导致该服务器上所提供的服务停止，于是有了开发双机热备服务的想法，经过长时间(半年)的多人的努力，这个东西慢慢就出来了。基于各种原因，这里不能提供相关源代码，仅仅提供设计思想，基本实现思路和实现过程遇到的问题和挑战，顺带记录下这半年努力的成果，若有描述不够详细或清楚的地方，敬请见谅！

• 社交游戏之通用任务服务器设计与实践

本文主要介绍社交游戏的游戏引擎中，如何使用C/C++构建一个高效、通用性强、可扩展的任务服务器，通用的社交游戏设计方式是指前端使用Flash进行展示，后台使用PHP或其他语言进行逻辑控制，不需要关心数据的存放位置，以及数据与数据之间的关系，能可通过后台图形化界面配置与管理任务系统的数据和业务逻辑规则，从而减少游戏服务器端程序版本的发布，加速游戏研发速度和降低研发成本，提高游戏运营更新速度。

• MogileFS Rebalance(文件的重新均衡)

Rebalance 这个功能并不是 MogileFS 中所必需的操作.但有时,它对于你要改变存储设备容量到不同的设备和机器上来讲是一个很好的东西,可以确保文件应该怎么样平均分布在所有...

• 淘宝和阿里巴巴去Oracle化事件引发数据库技术人员大讨论

@红袖添香夜杀猪于新浪微博上发表阿里系去Oracle化去Yahoo化的事情，引发众多技术界朋友们的讨论，甚至导致很多正在或想学习Oracle数据库技术的网友，担忧Oracle DBA的发展前景问题，为此把一些问题的来龙去脉，以及一些较好的回复和争论点，整理清楚分享给大家，以免更多的技术人被一些错误的信息误导。

• 服务治理过程演进

在大规模服务化之前，应用可能只是通过RMI或Hessian等工具，简单的暴露和引用远程服务，通过配置服务的URL地址进行调用，通过F5等硬件进行负载均衡。 (1) 当服务越来越多时，服务URL配置管理变得非常困难，F5硬件负载均衡器的单点压力也越来越大。此时需要一个服务注册中心，动态的注册和发现服务，使服务的位置透明。并通过在消费方获取服务提供方地址列表，实现软负载均衡和Failover，降低对F5硬件负载均衡器的依赖，也能减少部分成本。 (2) 当进一步发展，服务间依赖关系变得错踪复杂，甚至分不清哪个应用要在哪个应用之前启动，架构师都不能完整的描述应用的架构关系。这时，需要自动画出应用间的依赖关系图，以帮助架构师理清理关系。 (3) 接着，服务的调用量越来越大，服务的容量问题就暴露出来，这个服务需要多少机器支撑？什么时候该加机器？

• hello_desired_world乱聊内存池 boost内存池原理与介绍

一直想总结一下关于内存池方面自己的理解和使用, 临近春节(写完不知已是何时), 终于陆陆续续有些时间能写点东西, 网上关于此方面的文章数不胜数, 但仍旧想通过自己之手写(敲)出点文字, 一是自己也能够通过这种方式温故而知新；二是希望能从自己对这方面的理解带给大家一些不同的东西. 关于内存池的概念, 优点, 缺点什么的, 真不想说太多, 简单总结以下, 其他大家google吧, 嘿嘿.

• 关于APC的性能优化，请看下面这段话

If you want to make the best use out of autoload with an APC cache don’t use spl_autoload. It uses relative paths and thus will perform a stat even with apc.stat=0 (either that, or it doesn’t work at all). Instead make a custom function and use require/include with an absolute path (register it with spl_autoload_register).

• 工作总结及玩家状态广播

地图服务的另一项工作是管理所有的 NPC 和怪。我原本希望把单个 NPC 和怪都放到独立的进程(非 os 进程)中，以 agent 的独立地位存在。做过一番估算后，觉得内存开销方面不太现实。所以还是打算由地图统一管理它们。初步的计划是讲怪物的巡逻路径单独管理，把 AI 的状态机则独立出来。怪物是不作为观察者进入 AOI 的。让 agent 在观察到怪后，主动向怪发送消息激活怪的 AI 模块。这样可以在没有人活动的场景上，大大减少怪物 AI 轮询造成的 CPU 压力。这部分的实现以后由新入职的 mike 同学负责实现。这几天我们讨论了好长时间的相关方案。在实现过程中一定还会有许多实现者自己的想法。不过我相信 mike 同学多年的 MMO 制作经验可以很好的解决掉问题。

• 关于HBase的一些零碎事

目前稳定版本的HBase0.90.2只能基于Hadoop0.20.x系列版本，暂不支持最新的0.21.x。而且官方版本的Hadoop0.20.2(或者0.203.0)缺少一个重要的特性，HDFS不支持sync模式的持久，这样HBase就有较大的丢失数据的风险。要在生产环境使用HBase，有两个选择，一是使用Cloudera的CDH3版本，Cloudera就类似MySQL的Percona，对官方版本的Hadoop做了很多改进工作，而且经典的《Hadoop：The Definitive Guide》一书的作者Tom White就是Cloudera的一员，这也和《High performance MySQL》一书的作者主要来是Percona一样。另外一种选择，就是自行编译Hadoop branch-0.20-append源码分支，这里有详细的说明。

• Memcache协议的学习

TCP协议 memcached 的客户端使用TCP连接与服务器通讯。一个运行中的memcached服务器监视一些端口。客户端连接这些端口，发送命令到服务器，读取回应，最后关闭连接。结束会话不需要发送任何命令。当不再需memcached服务时，要客户端可以在任何时候关闭连接。需要注意的是，鼓励客户端缓存这些连接，而不是每次需要存取数据时都重新打开连接。这是因为memcached 被特意设计成及时开启很多连接也能够高效的工作。缓存这些连接，可以消除建立连接所带来的开销。在memcache协议中发送的数据分两种：文本行和自由数据。文本行被用于来自客户端的命令和服务器的回应。自由数据用于客户端从服务器端存取数据时。同样服务器会以字节流的方式传回自由数据。服务器不用关心自由数据的字节顺序。

• Redis消息队列的若干实现方式

最近忙着用Redis实现一个消息通知系统，今天大概总结了一下技术细节，其中演示代码如果没有特殊说明，使用的都是PhpRedis扩展来实现的。