源码分析 -- IT技术博客大学习 -- 共学习共进步！

• 从MySQL源码学习运维Innodb buffer命中率计算

按官方手册推荐Innodb buffer Hit Ratios的计算是: 100-((iReads / iReadRequests)*100) iReads : mysql->status->Innodb_buffer_pool_reads iReadRequests: mysql->status->Innodb_buffer_pool_read_requests

• Storm源码浅析之topology的提交

最近一直在读twitter开源的这个分布式流计算框架——storm的源码，还是有必要记录下一些比较有意思的地方。我按照storm的主要概念进行组织，并且只分析我关注的东西，因此称之为浅析。一、介绍 Storm的开发语言主要是Java和Clojure，其中Java定义骨架，而Clojure编写核

• libevent源码浅析: http库

libevent自带了一个http库,用它可以很简单的实现一个http服务器,本文非常简单地分析之. evhttp evhttp库有几个主要的结构体,它们之间的联系非常龌龊: 其中,结构体event, min_heap, evsignal_info, eventop, event_base在前面几篇文章中已经介绍过了,这里不再啰嗦. evbuffer evbuffer用于读或写缓冲,图示为: 和evbuffer有关的外露接口主要是: //从文件读数据到缓冲,读取量为max(howmuch, 4096) int evbuffer_read(struct evbuffer *buf, int fd, int howmuch); //把缓冲写出文件 int evbuffer_write(struct evbuffer *buffer, int fd) evbuffer比较简单,不多介绍. evh

• libevent源码浅析: 定时器和信号

这篇文章将讲讲libevent对定时器和信号事件的处理. Timer事件反应堆event_base包含了一个最小堆min_heap结构体的实例,以此维护注册到这个反应堆实例的定时器事件: struct event_base { //其他成员 struct min_heap timeheap; }; 回顾一下最小堆min_heap: typedef struct min_heap { //p指向一个动态分配的数组,数组元素是event指针. struct event** p; unsigned n, a; // n表示目前保存了多少元素,a表示p指向的内存能够存储event指针的个数 } min_heap_t; 可以看到,它包含一个连续的内存块用于存储定时器事件.针对min_heap的操作主要有: static inline int mi

• Storm源码浅析之topology的提交

最近一直在读twitter开源的这个分布式流计算框架——storm的源码，还是有必要记录下一些比较有意思的地方。我按照storm的主要概念进行组织，并且只分析我关注的东西，因此称之为浅析。一、介绍 Storm的开发语言主要是Java和Clojure，其中Java定义骨架，而Clojure编写核心逻辑。

• Redis源代码分析

一直有打算写篇关于redis源代码分析的文章，一直很忙，还好最近公司终于闲了一点，总算有点时间学习了，于是终于可以兑现承诺了，废话就到此吧，开始我们的源代码分析，在文章的开头我们把所有服务端文件列出来，并且标示出其作用： adlist.c //双向链表 ae.c //事件驱动 ae_epoll.c //epoll接口, linux用 ae_kqueue.c //kqueue接口, freebsd用 ae_select.c //select接口, windows用 anet.c //网络处理 aof.c //处理AO...

• Memcache源代码分析之网络处理

memcache是什么说略过，大家都懂。这篇文章主要分析memcache的网络处理，memcache的网络处理是基于libevent的库写的，下面依据源代码来一步一步讲解。

• Memcache源代码分析之数据存储

其它先不说，直接上张图，为什么呢，看图说话，哈哈。。入主题，上篇我们讲到网络处理，这次讲讲数据存储，从上面图上基本可以看到处理流程，不过忽略了一些细节，但里面有两个地方要值得说一下，在图上也做了标注，就是图中的1和2，分别是内存分配和hashtable管理， 1、内存分配，当一条命令的参数解析完之后，就要为之分配其内存空间，要分配的空间大小=key长度+1+后缀长度+内容长度，这里的后缀长度其实是压缩参数和内容长度的a...

• 学习libevent的select模型

最近几天都在看libevent的源代码，什么是libevent呢？他是一个由C写的基于事件驱动的网络库，使用方便，效率也还不错，利用这个库能很大程度上提高开发效率，而且libevent跨平台支持的也非常好。像memcache就是一个非常典型的例子，既然memcache这么有威望的产品都选择用他，说明这个东西还是值得大家研究的。因为我是windows，所以关于epool,kqueue什么的都没去看，也没看iocp，花了一天时间看完了select模型的源代码，代码不多...

• Lighttpd mod_fastcgi源码分析

最近在设计一种网络服务器架构, 最重要的一点是把耗时操作委托给工作进程(或者线程)来做, 所以考察一下 fastcgi. 大概看了下 lighttpd 的 mod_fastcgi 的源码, 没想到立即被卡住了. 根据我的想法, PHP 等 fastcgi 程序(php-cgi 进程)监听网络, 然后 mod_fastcgi 只需要 connect 这些进程即可, 奇怪的是, 我竟然看到了 listen! - fcgi_spawn_connection() 函数: fcgi_fd = socket(socket_type, SOCK_STREAM, 0); if (-1 == conne...

• riak源码阅读手记一初出茅庐项目入口

basho（相扑）是一家美国的技术公司，专营数据存储和管理软件，11年6月30日获得了750万美元的融资。basho将riak开源，通过收取riak的维护和管理界面软件的使用费用来赚钱，和resin的公司类似。今天主要研究的是，basho旗下的riak:一个类dynamo系统的kv存储。riak使用了erlang进行开发，将代码精简到极致。 rebar riak的代码使用了一个叫做rebar（钢筋）的erlang构建工具，使用起来真的很方便，...

• redis源代码分析

我们跟踪一个普通的get命令来遍历几个关键函数，熟悉协议处理的过程。你可以通过telnet或者redis_cli、利用lib库发送请求给redis server。前者的是一种裸协议的请求发送到服务端，而后两者会对键入的请求进行协议组装帮助更好的解析（常见的是长度放到前头，还有添加阿协议类型）。 Requests格式 *参数的个数 CRLF $第一个参数的长度CRLF 第一个参数CRLF ... $第N个参数的长度CRLF 第N个参数CRLF 例如在redis_cli里键入get a，经...

• redis源代码分析 - replication

redis的复制方法和机制都比较简单。 slaveof masterip port 在slave端键入命令之后，就开启了从master到slave的复制。一个master可以有多个slave，master有变化的时候会主动的把命令传播给每个slave。slave同时可以作为其他的slave的master，前提条件是这个slave已经处于稳定状态（REDIS_REPL_CONNECTED）。slave在复制的开始阶段处于阻塞状态（sync_readline）无法对外提供服务。数据的有向图会让redis的运维很有搞头。

• redis源代码分析 - persistence

redis有全量（save/bgsave）和增量（aof）的持久化命令。全量的原理就是遍历里所有的DB，在每个bucket，读取链表的key和value并写入dump.rdb文件（rdb.c 405）。 save命令直接调度rdbSave函数，这会阻塞主线程的工作，通常我们使用bgsave。 bgsave命令调度rdbSaveBackground函数启动了一个子进程然后调度了rdbSave函数，子进程的退出状态由 serverCron的backgroundSaveDoneHandler来判断，这个在复制这篇文章里讲到过，这里就不罗...

• redis源代码分析 - event library

每个cs程序尤其是高并发的网络服务端程序都有自己的网络异步事件处理库，redis不例外。事件库仅仅包括ae.c、ae.h，还有3个不同的多路复用（本文仅描述epoll）的wrapper文件，事件库封装了框架调用的主循环函数，暴露了时间、文件事件注册和销毁函数，典型的依赖反转模式。网络操作都在networking.c里，封装了常见的socket操作。我们从redis启动的main函数开始，从用户发出连接键入命令开始遍历网络事件库所涉及的函数，unix套接...

• redis源代码分析 - hash table

hashtable的实现有很多，redis的dict.c 是其中之一。 dict 包含了2个dictht hashtable ht[0], ht[1]。 client版本的dict是没有dictht的概念。加入dictht的概念存在2个ht的目的是为了在rehash的时候可以平滑的迁移bucket里的数据，而不像client的dict要把老的hash table里的一次性的全部数据迁移到新的hash table，这在造成一个密集型的操作，在业务高峰期不可取。 ht是hashtable的简称，实际上是一个指针数组，数组的个数由dictht-...

• Hive源码解析-之-词法分析器 parser

Hive源码解析系列

• Lua GC 的源码剖析 (6) 完结

GC 中最繁杂的 mark 部分已经谈完了。剩下的东西很简单。今天一次可以写完。 sweep 分两个步骤，一个是清理字符串，另一个是清理其它对象。

• Lua GC 的源码剖析 (5)

今天来说说 write barrier 。在 GC 的扫描过程中，由于分步执行，难免会出现少描了一半时，那些已经被置黑的对象又被修改，需要重新标记的情况。这就需要在改写对象时，建立 write barrier 。在扫描过程中触发 write barrier 的操作影响的对象被正确染色，或是把需要再染色的对象记录下来，留到 mark 的最后阶段 atomic 完成。

• Lua GC 的源码剖析 (3)

有了前几天的基础，我们可以从顶向下来读 lua gc 部分的代码了。我们知道，lua 对外的 API 中，一切个 gc 打交道的都通过 lua_gc 。C 语言构建系统时，一般不讲设计模式。但模式还是存在的。若要按《设计模式》中的分类，这应该归于 Facade 模式。