在增量DUMP过程中，我们的job比较小，但是启动非常频繁，每个job的执行时间短，通过执行的日志发现，有时会出现一个job的启动时间很长，需要几十秒。由于我们很看重增量的速度，所以几十秒的等待是不可接受的。分析：我们当时使用的Hadoop CDH3 Beta4 的版本。通过ganglia图表分析，出问题的tasktracker会出现一些流量的凸起。但是离带宽限制还很远。通过仔细分析TaskTracker的日志发现，Child子进程启动过程中，存在等待的问题。经过分析源码，Child子进程在启动过程是在一个线程中串行完成，启动过程包括了distributedcache文件的获取。
PHP以其易用性和可移植性正被广泛应用于WEB开发。然而，在我们使用的过程中，也要十分小心，从随处可见的XSS（新浪微博发送大量垃圾信息事件）到前段时间爆出来的Hash冲突的DDOS攻击，最近，wooyun上面发布了一个关于ThinkPHP框架的漏洞（最新版已经修复），以前也是我用过的第一个框架，昨晚花时间重现了一下，查阅了下程序的原理。本文主要来重现该漏洞，然后分析代码，给出漏洞的原因，用这个漏洞去检验可能对系统造成的破坏，最后总结，防范的方法。
搜索有个应用就是每次都会去查一个接口，接口返回用户的信息数据，从而展现不同的筛选和排序效果。大致流程如下 s.taobao.com（hz）-> memcache ->电信custom接口 ->master-db s.taobao.com（qd）-> 网通custom接口 -> slave-db 接口环境是php（cgi） + nginx，接口已经运行很久，未出过异常 搜索访问custom接口，然后接口去查数据库（数据库是主从复制，数据同步，各自机房读各自的数据库，写的话都写master-db）有一点，就是电信机房是有memcache层的，而网通机房一直没有（考虑到网通机房流量不高，并且机房cache不同步，从上线起就网通机房一直未使用cache）有一次搜索上线，这个上线的版本有个改动就是把电信机房的memcache也取消了，然后 电信机房流量。。。。。
中文编码由于历史原因牵扯到不少标准，在不了解的时候感觉一头雾水；但其实理解编码问题并不需要你深入了解各个编码标准，只要你明白了来龙去脉，了解了关键的知识点，就能分析和解决日常开发工作中碰到的大部分编码问题。有感于我看过的资料和文章要么不够全面，要么略显枯燥，所以通过这篇文章记录下笔者在日常工作中碰到的中文编码原理相关问题，目的主要是自我总结，如果能给读者提供一些帮助那就算是意外之喜了。由于严谨的编码标准对我来说是无趣的，枯燥的，难以记忆的，本文尝试用浅显易懂的生活语言解释中文编码相关的(也可能不相关的)一些问题，这也是为什么取名杂谈的原因。本文肯定存在不规范不全面的地方，我会在参考资料里给出官方文档的链接，也欢迎读者在评论中提出更好的表达方式&指出错误，不胜感激。
定向抓取有很多的应用场景，比如B2C商品的抓取，点评的抓取等等。在本文提到的系统里面，主要使用linux+mysql+redis+django+scrapy+webkit，其中scrapy+webkit作为抓取端，redis作为链接库存储，mysql作为网页信息存储，django作为爬虫管理界面，快速实现分布式抓取系统的原型。
本文是作者在学习doclist压缩时的一点总结，希望以尽可能简单明了的方式描述各个算法的思想和适用场景，帮助同学们理解和比较。本文并不涉及具体的算法实现，代码请大家自行google。这里需要强调的是“所谓的改进顺序”只是作者yy出来方便理解记忆，并不反应真实的压缩方法发展历程。
本系列文章主要介绍几种常用的字符串比较算法，包括但不限于蛮力匹配算法，KMP算法，BM算法，Horspool算法，Sunday算法，fastsearch算法，KR算法等等。 本文主要介绍KMP算法和BM算法，它们分别是前缀匹配和后缀匹配的经典算法。所谓前缀匹配是指：模式串和母串的比较从左到右，模式串的移动也是从左到右；所谓后缀匹配是指：模式串和母串的的比较从右到左，模式串的移动从左到右。看得出来前缀匹配和后缀匹配的区别就仅仅在于比较...
spinlock又称自旋锁，线程通过busy-wait-loop的方式来获取锁，任何时刻时刻只有一个线程能够获得锁，其他线程忙等待直到获得锁。spinlock在多处理器多线程环境的场景中有很广泛的使用，一般要求使用spinlock的临界区尽量简短，这样获取的锁可以尽快释放，以满足其他忙等的线程。Spinlock和mutex不同，spinlock不会导致线程的状态切换(用户态->内核态)，但是spinlock使用不当(如临界区执...
目前磁盘都是机械方式运作的，主要体现在磁盘读写前寻找磁道的过程。磁盘自带的读写缓存大小，对于磁盘读写速度至关重要。读写速度快的磁盘，通常都带有较大的读写缓存。磁盘的寻道过程是机械方式，决定了其随机读写速度将明显低于顺序读写。在我们做系统设计和实现时，需要考虑到磁盘的这一特性。 FastDFS是一个开源的高效分布式文件系统，它最初的实现，文件是按hash方式随机分布到多个目录中的，后来增加了顺序存放的做...
Redis 是支持多key-value数据库(表)的,并用 RedisDb 来表示一个key-value数据库(表). redisServer 中有一个 redisDb *db; 成员变量, RedisServer 在初始化时,会根据配置文件的 db 数量来创建一个 redisDb 数组. 客户端在连接后,通过 SELECT 指令来选择一个 reidsDb,如果不指定,则缺省是redisDb数组的第1个(即下标是 0 ) redisDb. 一个客户端在选择 redisDb 后,其后续操作都是在此 redisDb 上进行的. 下面会详细介绍一下 redisDb 的内存结构.
FaceBook页面加载技术 试想这样一个场景，一个经常访问的网站，每次打开它的页面都要要花费6 秒；同时另外一个网站提供了相似的服务，但响应时间只需3 秒，那么你会如何选择呢？数据表明，如果用户打开一个网站，等待3~4 秒还没有任何反应，他们会变得急躁，焦虑，抱怨，甚至关闭网页并且不再访问，这是非常糟糕的情况。所以，网页加载的速度十分重要,尤其对于拥有遍布全球的5亿用户的Facebook(全球最大的社交服务网站...
测试工程师有一样很重要的工作就编写测试用例。测试用例是对需求的另一种描述，它能引导大家进一步加深对系统的理解和对特性的全面关注，从而帮助产品和开发重新审核需求的合理性和一致性，所以应该是测试工程师最重要的一项产出。一般的测试用例分为输入，行为，和希望结果三个部分。这三个部分通常的测试用例都能满足，但是怎样的测试用例才能算上优秀的测试用例呢？基于以往之测试经验，我总结了优秀测试用例的几个特点。
zookeeper简介 zookeeper是一个开源分布式的服务,它提供了分布式协作,分布式同步,配置管理等功能. 其实现的功能与google的chubby基本一致.zookeeper的官方网站已经写了一篇非常经典的概述性文章,请大家参阅:ZooKeeper: A Distributed Coordination Service for Distributed Applications 在此我仅花少量笔墨介绍下本文相关的内容。 在zookeeper的集群中，各个节点共有下面3种角色和4种状态： 角色：leader,follower,observer 状态...
HBase简介 HBase
Offline系统简介 导购搜索（一淘网）系统类似一个购物垂直搜索引擎，收录和购物相关的各种信息，并以各种不同数据来源为单位呈现给终端用户，供其做购物决定时参考。 Offline系统是连接数据源和存储的中间环节，接收从各种数据源过来的数据，经过加工后存储到存储系统中。更详细的一淘网技术简介请参考 一淘网技术简介 Offline系统考虑的要求 1. 能灵活接收各种数据源 Offline的数据源大致可以分为两种 a. 无固定格式...
有一个朋友问，一个用户搜索一个query是“百度”，怎么知道用户真正是想找什么呢。 我回答说，分析之前搜索这个query的用户点了些什么结果啊。 朋友继续问，如果没有用户点击呢。 呃，如果没有点击，这个问题就比较复杂了。整理了下思路，于是写成了本文。主要描述了关于如何预测用户query意图。希望会有所帮助。 首先我们的明确一个标准，如何判断我们对用户意图的猜测是正确的? 用户的思维是很发散的，也许今天搜索“葛优”，是...
网络爬虫（web crawler）又称为网络蜘蛛（web spider）是一段计算机程序，它从互联网上按照一定的逻辑和算法抓取和下载互联网的网页,是搜索引擎的一个重要组成部分。一般的爬虫从一部分start url开始，按照一定的策略开始爬取，爬取到的新的url在放入到爬取队列之中，然后进行新一轮的爬取，直到抓取完毕为止。 我们看一下crawler一般会遇到什么样的问题吧： 抓取的网页量很大 网页更新量也很大，一般的网站，比如新闻，电子商务网...
《从狄仁杰的测字占卜到一淘网的Query分析之大结局》一文在淘宝搜索技术博客发表已经快一个月了，很多看客看了后给我反馈。当然大部分看客看完后会给一个看似褒奖实则中性的评论：屁股上挂暖壶----有一定（腚）的水平。部分看客看完很不爽，说刚看到“美女说不够深入，不能满足欲望”之处便戛然而止，怎么没有帅哥英雄救美，满足所有想法的预期场景出现。我以前的一个同事更是直接抨击：《狄仁杰》一文就是一篇典型的太监文-----下...
前言：由php的运行机制决定，其实php在运行阶段我们也是可以进行缓存的从而提高程序运行效率，这就是我们常说的opcode缓存。 1、简述php的运行机制 （因为本文是写opcode缓存的所以这里只是简要概述，后边会专门写一篇揭秘php运行机制的。） a).php文件通过浏览器过来 b)请求交给SAPI，随后SAPI层将控制权转给PHP c)zend_language_scanner对代码进行扫描，对php代码进行词法分析转换成一系列的tokens array d)zend_language_parser...
在日常工作中，经常需要使用随机算法。比如面对大量的数据， 需要从其中随机选取一些数据来做分析。 又如在得到某个分数后， 为了增加随机性， 需要在该分数的基础上， 添加一个扰动， 并使该扰动服从特定的概率分布。本文主要从这两个方面出发， 介绍一些算法， 供大家参考。 首先假设我们有一个使用的随机函数float frand()， 返回值在(0, 1)上均匀分布。...
