阿里集团数据平台 -- IT技术博客大学习 -- 共学习共进步！

• hadoop rpc机制 && 将avro引入hadoop rpc机制初探

1 RPC RPC(Remote Procedure Call)――远程过程调用，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。 2 hadoop.ipc 2.1 Server RPC Server实现了一种抽象的RPC服务，同时提供Call队列。 O RPC Server结构结构功能 Server.Listener RPC Server的监听者，用来接收RPC Client的连接请求和数据，其中数据封装成Call后PUSH到Call队列。 Server.Handler RPC Server的Call处理者，和Server.Listener通...

• NameNode优化笔记 (一)

集群只要规模上了1000台, 问题就会更多。 RPC, NameNode锁、JobTracker锁、及DataNode, TaskTracker的问题都是一大堆。我们于12月初解决了JobTracker的一些性能问题, 但是NameNode的吞吐量一直没有上来。针对这些问题我们开了几次紧急会议, 会议的决定是由我负责开展一个NameNode优化专门项目。经过大约一个月的努力, 我们的NameNode吞吐量已经上升8+倍。接下来的笔记将连载我们是如何发现NameNode的问题, 并进行NameNode优化的，...

• Nginx源码分析-内存池

Nginx的内存池实现得很精巧，代码也很简洁。总的来说，所有的内存池基本都一个宗旨：申请大块内存，避免“细水长流”。一、创建一个内存池 nginx内存池主要有下面两个结构来维护，他们分别维护了内存池的头部和数据部。此处数据部就是供用户分配小块内存的地方。 //该结构用来维护内存池的数据块，供用户分配之用。 typedef struct { u_char *last; //当前内存分配结束位置，即下一段可分配内存的起始位置 u_char *end; //内存池...

• 几个连接数据库用的python模块

工作中，经常会有用python访问各种数据库的需求，比如从oracle读点配置文件或者往mysql写点结果信息之类的。这里列一下可能用到的各个模块。 sqlite3: 内置模块用sqlite，有时候确实很方便，我觉得它确实做到了宣称的“零配置”。python自2.5版以来，就内置了对sqlite3的支持，使用也非常简单，按照文档上来： #打开db文件，获得连接 conn = sqlite3.connect(\'数据文件名\') #获得游标 c = conn.cursor() #执行...

• Beyond Threading

Java线程模型的优点在于能够清晰的model应用逻辑流,通过对应OS里物理线程，可以利用多个处理器,或者通过切换让CPU利用率不同的线程共享一个处理器。但是这种把应用的逻辑线程直接搬到OS的物理线程上运行的方式(*)也存在弊端： Heavy weight，每个OS线程都需要内存和自己的堆栈等资源 Context switching，及其引起的低效率（cache污染，线程饥饿,优先级逆转..) Synchronization & lock, 需用同步访问share memory和资源，而如...

• Apache Avro 与 Thrift 比较

Avro和Thrift都是跨语言，基于二进制的高性能的通讯中间件. 它们都提供了数据序列化的功能和RPC服务. 总体功能上类似，但是哲学不一样. Thrift出自Facebook用于后台各个服务间的通讯,Thrift的设计强调统一的编程接口的多语言通讯框架. Avro出自Hadoop之父Doug Cutting, 在Thrift已经相当流行的情况下Avro的推出，其目标不仅是提供一套类似Thrift的通讯中间件更是要建立一个新的，标准性的云计算的数据交换和存储的Protocol。这个...

• Nginx源码分析-Epoll模块

Linux平台上，Nginx使用epoll完成事件驱动，实现高并发；本文将不对epoll本身进行介绍（网上一堆一堆的文章介绍epoll的原理及使用方法，甚至源码分析等），仅看一下Nginx是如何使用epoll的。 Nginx在epoll模块中定义了好几个函数，这些函数基本都是作为回调注册到事件抽象层的对应接口上，从而实现了事件驱动的具体化，我们看如下的一段代码：

• timetunnel之系统架构

之前曾简单介绍了timetunnel以及timetunnel在淘宝的应用情况，后续将会有N篇博客详细给大家解读timetunnel的系统设计。timetunnel已经在淘蝌蚪开源，更多的文档和代码信息可以访问http://code.taobao.org/project/view/411/ 。本文主要介绍timetunnel的整体框架。从上图可以看出，timetunnel大概有四部分组成，client，router，zookeeper，broker。 client是一组访问timetunnel的api，主要有三部分组成：安全认证api，发布api，订...

• node.js调研与服务性能测试

这几天对nodejs进行了一下简单的调研主要关注这几个方面 socket服务性能, socket客户端性能 http服务性能. 服务的稳定性与资源占用开发成本考虑到今后的应用场景, 实现了一个简单的memcache代理服务. 内部维护了一个50连接的简单连接池, 通过长连接与memcache服务器相连. 同时对外提供socket代理服务与http restful服务测试环境测试使用编译安装的node.js v0.3.1,未使用任何第三方modules 代理服务与memcache部署在不同的服务...

• Nginx源码分析-事件循环

事件循环这个概念貌似在windows编程中提得更多，Linux程序却很少提及这个概念。本文所提及的事件循环其实就是worker cycle，由于此处将关注的不再是worker进程，而是worker进程在循环过程中关于事件处理的环节，因此就盗用了事件循环这个概念。在具体看代码前，先看一下这个“循环”的概貌：经过前面相关博文的介绍，我们了解到master进程创建好一个worker进程后，worker进程还会进行一个初始化工作，然后才会陷入“死”循环中。...

• Nginx的connections数组

本文的标题让我纠结了好久，不知道是connections数组合适，还是connections链表更合适；Nginx在此或多或少的注入了二者的特点，先不管是叫数组还是叫链表吧，只要能够弄明白这个connections是怎么回事就大功告成。Nginx的每个worker进程都使用一个相同的connections数组来维护每个连接。当有一个新的连接建立时，Nginx需要从这个数组取出一个slot来存放这个连接；相反，有一个连接断开时，也需要将相应的slot归还给connections数组...

• Nginx事件驱动的初始化

Nginx的高性能应该算是事件驱动的功劳。Nginx事件处理的相关代码位于src/event目录中，事件驱动是Nginx的核心，所以代码量相对也比较大。事件驱动初始化的过程主要由下图中的三步组成。第一步：解析配置文件的初始化在Nginx的启动初始化过程中，将调用ngx_conf_parse()解析配置文件，此过程将遇到类似如下的配置项： events { worker_connections 20480; } 此处的events是一个block指令，在它下面还可以配置很多其他的指令，比如...

• Nginx的master和worker进程间的通信

前面单独分析了master进程和worker的工作情况，本文就大概看一下master进程和worker进程之间是如何使用channel来完成通信的。这部分实现的源码主要分布于src/os/unix/channel.h和channel.c两个文件中。实现极其简单，没有什么复杂的逻辑。下面，我绘制了一个简单的master进程和worker进程间的关系，图中的箭头符号指出数据是由master进程传给worker进程，而没有从worker到master；这是因为channel不是一个普通的数据传输管道，在Ng...

• Nginx启动初始化过程(二)

在Nginx启动初始化过程（一）中提到main函数会调用ngx_init_cycle()初始化一个全局cycle变量，本文就来看看这个ngx_init_cycle()函数究竟做了哪些初始化工作。ngx_cycle_t结构类型被定义在src/core/ngx_cycle.h文件中，多达23个成员变量（nginx-0.7.67），由于ngx_init_cycle()函数的代码多达近800行，绝对算大函数了（当然，我也相信还有更加变态的函数，将整个世界都写到一个函数中的情况也是有可能的），在此就挑一些相对关键的...

• Nginx启动初始化过程（一）

Nginx的启动初始化在src/core/nginx.c的main函数中完成，当然main函数是整个Nginx的入口，除了完成启动初始化任务以外，也必定是所有功能模块的入口之处。Nginx的初始化工作主要围绕一个类型为ngx_cycle_t类型的全局变量（cycle）展开。下面具体看一下main函数为Nginx的启动过程做了哪些初始化方面的事情。（以下代码段都是顺序从main函数中摘取出来的，对照源码阅读可能更易明白） main函数做的第一件事情就是对参数选项进行处理...

• Nginx进程管理之worker进程

本文着手分析一下worker进程的情况。首先找到worker进程的入口地方――ngx_worker_process_cycle。这个函数不光是worker进程的入口函数，同时也是worker进程循环工作的主体函数，看函数名含有一个cycle嘛。进入这个cycle函数，第一件事就是调用ngx_worker_process_init(cycle, 1);对worker进程进行初始化操作。先看看这个worker进程的初始化过程。

• Nginx进程管理之master进程

Nginx分为Single和Master两种进程模型，Single模型即为单进程方式工作，具有较差的容错能力，不适合生产之用。Master模型即为一个master进程+N个worker进程的工作方式。生产环境都是用master-worker模型来工作。本文着重分析Nginx的master进程做了哪些事情，它是如何管理好各个worker进程的。在具体分析代码之前，先附上一张master进程的全貌图：我们知道在main函数中完成了Nginx启动初始化过程，启动初始化过程中的一个重要环节...

• namenode 内部关键数据结构简介

本文档目的在于对namenode中各种关键的数据结构进行剖析和解释，以方便更好的对namenode的各种处理逻辑和代码结构进行理解。其中包括对namenode中Namenode和FSNameSystem的程序代码结构，FSDirectory，BlocksMap， CorruptReplicationMap，excessReplicateMap， UnderReplicatedBlocks，PendingReplictiondBlocks等数据结构的介绍。

• Hadoop现有测试框架探幽

背景从使用hadoop的第一天开始，就一直没有离开过对Hadoop自身功能的开发以及hadoop本身bug的修复的相关开发。这样的开发模式已经持续了好几年，但是可以从中发现的一个现象：对于我们修复的bug或者开发的功能，一直都没有一种很规范，很统一，高效，好管理，并且一目了然的测试的方式。常常的现象是：开发了一个功能或修复了一个bug后，就针对该修改进行一些人为手动的环境模拟和测试，然后测试确认没有问题以后，就合入基线版本...

• Hive的入口 -- Hive源码解析

读hive源码希望能够更了解底层，尤其是hive与Hadoop切换这块。