Erlang非业余研究 -- IT技术博客大学习 -- 共学习共进步！

• gen_tcp发送进程被挂起起因分析及对策

最近有同学在gmail上问关于gen_tcp发送进程被挂起的问题，问题描述的非常好，见底下：第一个问题是关于port_command和gen_tcp:send的。从项目上线至今，我在tcp发送的地方遇到过两次问题，都跟port_command有关系。起初程...

• 未公开的gen_tcp:unrecv以及接收缓冲区行为分析

gen_tcp:unrecv是个未公开的函数，作用是往tcp的接收缓冲区里面填入指定的数据。别看这小小的函数，用起来很舒服的。

• Erlang进程简单的主动负载管制实现

我们知道Erlang的调度器是公平的，当进程的时间片用完了后，会强制切出，但是这个粒度是比较粗的。比如说进程进行了大量的Io操作，这个操作换成时间片是不准确的，会导致某些CPU计算密集型的比较吃亏，IO密集型的合算。为了避免这...

• Erlang Shell实用小技巧

Erlang Shell下有很多内置的命令，在平时交互的时候很好用，文档里面都是一行带过，大家可能没什么感觉。

• Erlang match_spec引擎介绍和应用

match_spec是个erlang term过滤器，可以让用户来自己选择需要匹配什么，需要从term里面抽取什么数据。那同学可能就有疑问了,Erlang的函数不是很强大吗,它能做的函数也能做，那为什么要重新费劲做一个呢？Erlang实现这个match_spec得原因有2个：1. 运行效率 2. 小巧可以在运行期使用。

• 未公开的gen_tcp:unrecv以及接收缓冲区行为分析

gen_tcp:unrecv是个未公开的函数，作用是往tcp的接收缓冲区里面填入指定的数据。别看这小小的函数，用起来很舒服的。我们先看下它的代码实现，Erlang代码部分：运行期c代码部分: 实现上很简单，就是透过tcp ctl命令往驱动接收缓冲区里面填数据。但是什么是gen_tcp接收缓冲区, 它的大小是多大呢？在回答这个问题之...

• seq_trace集群消息链跟踪利器

做过网络集群服务器的的同学都知道，集群服务通常由不同的服务器组成，这些不同角色的服务器组合在一起共同完成了特定的服务。一个服务通常需要一个协调者，和不同的工作者。协调者负责派发任务，接收工作者的完成情况，最终回馈给用户。举个例子来讲，拨打电话：首先需要确认你的号码是在有效的，同时还要看下你的帐号里面有钱不，还...

• hibernate使用注意事项

hibernate的作用是在进程闲的时候或者内存紧张的时候，通过重新整理进程的堆和栈内存来减少内存的消耗，同时维持进程之前的状态，但是误用会引起些问题,这里我们来展开下。

• gen_tcp调用进程收到{empty_out_q, Port}消息奇怪行为分析

今天有同学在gmail里面问了一个Erlang的问题，问题描述的非常好, 如下：问题的背景是： 1、我开发了一个服务端程序，接收客户端的连接。同一时刻会有多个客户端来连接，连接后，接收客户端请求后，再发送响应消息，然后客户端主动断连。 2、服务端监听的socket属性设置如下： [binary, {packet, raw}, {ip,...

• TCP链接主动关闭不发fin包奇怪行为分析

问题描述：多隆同学在做网络框架的时候，发现一条tcp链接在close的时候，对端会收到econnrest,而不是正常的fin包. 通过抓包发现close系统调用的时候，我端发出rst报文, 而不是正常的fin。这个问题比较有意思，我们来演示下：我们往baidu的首页发了个http请求，百度会给我们回应报文的,我们send完立即调用close. 然后我们在另...

• gen_tcp容易误用的一点解释

前天有同学在玩erlang gen_tcp的时候碰到了点小麻烦，描述如下：比如说连接到baidu.com,发个http请求，然后马上接收数据，发现接收出错，wireshark抓包发现数据都有往返发送，比较郁闷。我把问题演示下：这个问题的根源在于gen_tcp默认的{active,true},也就是说当gen_tcp收到网络包的时候，默认是把报文发送给它的宿主进程。而gen_tcp:...

• Erlang supervisor的dynamic行为分析

在热升级的时候，针对supervisor管理的进程，需要知道它是由那个模块apply执行的。这样才能在模块代码发生变更的时候，好判断出该进程是否要做点升级的准备。所以规格书不仅仅是给supervisor模块用的，也给release handler模块用。其中的modules部分就是描述那些模块和这个进程有关系。对于gen_server, gen_fsm behaviour的模块来讲，它的进程由只有它自己spawn_link来的，所以很好理解填规格的时候，模块部分填他自己就好。但是gen_event这样的模块，由于一个事件通常会注册好几个模块，而且是动态的，所以规格书就不知道填什么，只好填dynamic. 在热升级需要知道模块的时候，即刻发消息现查询那些模块和这个进程相关。

• ulimit问题及其影响

ulimit最初设计是用来限制进程对资源的使用情况的，因为早期的系统系统资源包括内存,CPU都是非常有限的，系统要保持公平，就要限制大家的使用，以达到一个相对公平的环境。以下是典型的机器默认的限制情况: 但是很多年过去了，情况发生变化了，硬件在过去的时间里面发展的非常迅猛，一个拥有几十个核心的，上百G内存的机器差不多也是白...

• Linux高速缓存使用率调查

Linux的高速缓存pagecache对性能的影响至关重要，但是实际系统中我们的利用率如何呢，特别是具体到每个设备的利用情况。从下图我们可以很清楚的看到：我们知道IO请求由vfs发起，经过pagecache缓存，挡不住的就落实到io设备去，那么统计这个利用率就很简单。我们只要知道挡不住的IO的比例就好了。

• Linux文件预读对系统的影响

Linux系统很重要的一个性能提升点就是它的Pagecache，因为内存比IO快太多了，所以大家都想进办法来利用这个cache。文件系统也不例外，为了达到高性能，文件读取通常采用预读来预测用户的行为，把用户可能需要的数据预先读取到cache去，达到高性能的目的。 Linux各个发行版readahead的实现差异很大，我们这里重点讨论2.6.18, RHEL 5U4发...

• leveldb性能分析和表现

Leveldb是一个google实现的非常高效的kv数据库，目前的版本1.2能够支持billion级别的数据量了。在这个数量级别下还有着非常高的性能，主要归功于它的良好的设计。特别是LSM算法。那么数据库最怕的的随机IO他是如何解决的呢？先说随机写，它的写都是先记录到日志文件去的，在日志文件满之前只是简单的更新memtable,那么就把随机写转化成了顺...

• disktop per设备per应用层面的IO读写统计

我们在调优IO 密集型的应用是通常需要知道IO的使用情况. 但是iostat只能知道系统全局的,iotop只能知道每个应用的, 我们有时候需要细化到每个应用对每个设备的使用情况. 比如说mysql数据库我们通常把日志和数据分开到不同的设备, 那我们需要知道数据读写多少,日志读写多少,分开的了解. 目前还没有工具能够很轻松的了解. 幸运...

• oprofile抓不到采样数据问题和解决方法

最近有同学反映在某些新机器上做性能调优的时候， oprofile 有时抓不到数据，我之前也遇到这个情况，很是无语，今天特地验证了下。

• Linux下方便的socket读写查看器（socktop）

想找个工具来调查下unix域套接字的发送和接受情况，比如说A程序是否送出，B程序是否接收到，他找了tcpdump ,wireshark什么的，貌似都不支持。这时候还是伟大的systemtap来救助了。因为所有的socket通讯都是通过socket接口来的，任何family的通讯包括unix域套接都要走的，所以只要截获了socket 读写的几个sys...

• 突破systemtap脚本对资源使用的限制

突破systemtap脚本对资源使用的限制我们在使用脚本收集系统信息的时候经常会用到map这样的数据结构存放结果,但是stap脚本在使用过程中经常会提升说”ERROR: Array overflow, check MAXMAPENTRIES near identifier ‘a’ at test.stp:6:5″ 类似这样的信息,然后脚本就自动退出了. 这是stap运行期为了避免用户滥用系统资源做出的保护,为了安全性...