系统架构 -- IT技术博客大学习 -- 共学习共进步！

• 网站架构的选择

最近的一个项目，在是否选用drupal的问题上，稍微有些纷争，也由此导出了这篇文章，希望对大家选择开源系统协作站点有所帮助。文章会比较冗长，先简要的说一下选择之前需要考虑的重点：需求 | 学习成本 | 开发速度 | 性能与后期维护 | 总结需求我们需要什么功能？网站需要什么时间上线？开发需要什么样的人力资源？根据需求，来做评估。开源软件种类繁多，雨后春笋般涌现的开源框架都声称自己是最好的...

• 关于柔性服务的一些实践和思考

最近花了大力气在做openapi的优化，使其尽量柔性可用，借此也有些想法想和大家分享一下。柔性服务，google一下，在网上并没有这样一个标准的概念，所以应该是公司自己取的一个名字。但是...

• NameNode优化笔记 (一)

集群只要规模上了1000台, 问题就会更多。 RPC, NameNode锁、JobTracker锁、及DataNode, TaskTracker的问题都是一大堆。我们于12月初解决了JobTracker的一些性能问题, 但是NameNode的吞吐量一直没有上来。针对这些问题我们开了几次紧急会议, 会议的决定是由我负责开展一个NameNode优化专门项目。经过大约一个月的努力, 我们的NameNode吞吐量已经上升8+倍。接下来的笔记将连载我们是如何发现NameNode的问题, 并进行NameNode优化的，...

• 定向抓取漫谈

网络爬虫（web crawler）又称为网络蜘蛛（web spider）是一段计算机程序，它从互联网上按照一定的逻辑和算法抓取和下载互联网的网页,是搜索引擎的一个重要组成部分。一般的爬虫从一部分start url开始，按照一定的策略开始爬取，爬取到的新的url在放入到爬取队列之中，然后进行新一轮的爬取，直到抓取完毕为止。我们看一下crawler一般会遇到什么样的问题吧：抓取的网页量很大网页更新量也很大，一般的网站，比如新闻，电子商务网...

• 梦幻西游服务器的优化

在历史工程上修补是件麻烦的事情。前两天说起梦幻西游服务器的优化。这几天我到广州住下来，打算专门花一周时间搞定这件事。由于以前都是网上聊天，只有坐到一起才能真正理解问题。目前，梦幻西游，只使用单台机器，最高配置 8 个 CPU ，配置 8G 内存。就算最热闹的服务器，也用不完这些资源（大约只用满了 3 个 CPU ，一半的内存）。核心程序差不多就是 10 年前写的，从大话西游延续至今。这两年一直在享受免费的午餐，随着硬件配...

• 大型网站用户定位技术

其实这个文章叫大型网站用户定位技术，其实今天要讲的不是智能 DNS ，今天是要讲的智能 DNS 的问题，和一些网站对这个的处理,下面要讲的这个技术主要是针对比较大的文件，比如下...

• Redis新的存储模式diskstore

Redis作者antirez是一个非常勤奋的开发者，在Redis性能已经非常惊人的情况下持续不断开发新的特性，比如从新的cluster源代码看到，作者已经把Dynamo及Paxos一些核心的思想考虑进去并进行了一些简洁的实现。相比其它产品如Memcached则几年没什么大变化，在Web 2.0时代，Memcached已经非常不够用，技术人员需要考虑做很多额外工作才能让Memcached适应新的变化和需求。 antirez在1月5日Google Groups发表了一篇Redis diskstore文章，...

• Nginx源码分析-内存池

Nginx的内存池实现得很精巧，代码也很简洁。总的来说，所有的内存池基本都一个宗旨：申请大块内存，避免“细水长流”。一、创建一个内存池 nginx内存池主要有下面两个结构来维护，他们分别维护了内存池的头部和数据部。此处数据部就是供用户分配小块内存的地方。 //该结构用来维护内存池的数据块，供用户分配之用。 typedef struct { u_char *last; //当前内存分配结束位置，即下一段可分配内存的起始位置 u_char *end; //内存池...

• Redis容量及使用规划

在使用Redis过程中，我们发现了不少Redis不同于Memcached，也不同于MySQL的特征。 (本文主要讨论Redis未启用VM支持情况) 1. Schema MySQL: 需事先设计 Memcached: 无需设计 Redis: 小型系统可以不用，但是如果要合理的规划及使用Redis，需要事先进行类似如下一些规划数据项: value保存的内容是什么，如用户资料 Redis数据类型: 如String, List 数据大小: 如100字节记录数: 如100万条(决定是否需要拆分) ・・・・・・上面的规...

• 游戏程序守护进程-Windows版

游戏程序守护进程-Windows版，是用VBS写的，适用于Windows 2003 x86 和 Windows 2003 x64.

• 前端开发中的性能那点事（三）php的opcode缓存

前言：由php的运行机制决定，其实php在运行阶段我们也是可以进行缓存的从而提高程序运行效率，这就是我们常说的opcode缓存。 1、简述php的运行机制（因为本文是写opcode缓存的所以这里只是简要概述，后边会专门写一篇揭秘php运行机制的。） a).php文件通过浏览器过来 b)请求交给SAPI，随后SAPI层将控制权转给PHP c)zend_language_scanner对代码进行扫描，对php代码进行词法分析转换成一系列的tokens array d)zend_language_parser...

• Hadoop Job Tuning

Hadoop平台已经成为了大多数公司的分布式数据处理平台，随着数据规模的越来越大，对集群的压力也越来越大，集群的每个节点负担自然就会加重，而且集群内部的网络带宽有限，数据交换吞吐量也在面临考验，由此引发了人们对大规模数据处理进行优化的思考。本文仅从实践经验出发，针对Hadoop Job优化提出了一些观点，不包含HDFS的优化。 Job Tracker Related 严格来说，下面这个配置项，是决定HDFS文件block数量的多少(也就是文件个数...

• 解读Google分布式锁服务

在2010年4月，Google的网页索引更新实现了实时更新，在今年的OSDI大会上，Google首次公布了有关这一技术的论文。在此之前，Google的索引更新，采用的的批处理的方式(map/reduce)，也就是当增量数据达到一定规模之后，把增量数据和全量索引库Join，得到最新的索引数据。采用新的索引更新系统之后，数据的生命周期缩短了50%，所谓的数据生命周期是指，数据从网页上爬下...

• 梦幻西游服务器 IO 的一点优化

关注梦幻西游服务器的性能问题，是源于前几天跟同事的聊天。谈到能否把梦幻西游服务器做成无盘站，或是放进虚拟机里，便于日常维护管理。意外的了解到，现在磁盘 IO 性能居然成了梦幻西游服务器的瓶颈。而不是 CPU 或是网络带宽。据我所知，梦幻西游的服务器数据储存是这样做的：主游戏进程不负责储存，一切都在内存中。所有玩家的数据就是内存数据结构。只是在玩家登陆的时候去读取一下本地的文本文件，以及登出的时候把数据序列...

• Query Forwarding in Geographically Distributed Search Engines

这篇论文讲的是，一个全球的搜索引擎，需要在不同的地区布署一套服务，不同地区的索引不同。注：这也很容易理解，首先是带宽的压力，索引一般都是TB级别的，不能到处拷；其次是性能考虑，不同地区用户关注的网页是不同的，把用户不需要的网页也加进索引里，会使得检索性能很差。但是如果要地区的索引不能满足用户的需求，需要读取别的地区的索引的时候，怎么办？需要解决两个问题，一是是否需要读取别的地区的索引，二是读取哪...

• 多核与移动设备

Nvidia最近发布了代号为Tegra 2的新一代双核移动处理器，移动设备即将进入多核时代。该款处理器由两个基于ARM Cortex A9的核心及其它视频音频图形专用核心（可看成Accelerator）组成，是一个典型的异构（Heterogeneous）平台。这个平台的关键特征有两个：低功耗（比高频单核的处理器耗电小），高性能（异构平台的性能优势）。阅读全文>>

• 前端开发中的性能那点事（二）巧用curl 并发减少后端访问时间

前言：在我们平时的程序中难免出现同时访问几个接口的情况，而且用老的curl进行访问的时候，一般都是单个、顺序访问，假如有3个接口，每个接口耗时500毫秒那么我们三个接口加起来就是1500毫秒了，这个问题太头疼了，严重影响了页面访问速度，有没有可能并发访问来提高速度呢？今天就简单的说一下，利用curl并发来提高页面访问速度，希望大家多指导。 1、老的curl访问方式以及耗时统计 function curl_fetch($url, $timeout=3){ $ch...

• 前端开发中的性能那点事（一）巧用xdebug

前言：在我们平时的php开发中，一个大的项目经过长时间的积累以后你会发现性能越来越慢，而性能到底消耗在了什么地方，常常是一个令人头疼的问题，function a()调用了多少次，function b()又消耗了多少时间，我们到底怎么查找是哪个蛀虫拉慢了我们的程序运行速度呢？在这里给大家介绍一款工具xdebug，相信很多人已经听说过了，希望借助这个工具我们可以起到简单分析php程序性能瓶颈的问题。 A)假设1，假设用户目录在/home/ad B)假...

• Web性能优化中的CPP方法

毋庸置疑，Web性能优化是最近几年非常热门的话题。从Yahoo!在2006年推出YSlow以及相应的14的军规，到今年领军人物Steve Souder提出WPO的概念。几年时间里，网站性能重要性的概念已经深入人心，除一线的工程师，包括产品经理以及管理层纷纷加入其中，推进页面性能优化。大家普遍认为：性能好的网站，能吸引更多的用户，提供更好的用户体验，增加收入，并且降低成本。那么如何才能做好性能优化工作？Steve的两本书：《High Performa...

• Nginx源码分析-Epoll模块

Linux平台上，Nginx使用epoll完成事件驱动，实现高并发；本文将不对epoll本身进行介绍（网上一堆一堆的文章介绍epoll的原理及使用方法，甚至源码分析等），仅看一下Nginx是如何使用epoll的。 Nginx在epoll模块中定义了好几个函数，这些函数基本都是作为回调注册到事件抽象层的对应接口上，从而实现了事件驱动的具体化，我们看如下的一段代码：