您现在的位置：首页
--> Erlang非业余研究
我们在做网络服务器的时候，通常会很关心网络的带宽和延迟。因为我们的很多协议都是request-reponse协议，延迟决定了最大的QPS，而带宽决定了最大的负荷。 通常我们知道自己的网卡是什么型号，交换机什么型号，主机之间的物理距离是多少，理论上是知道是知道带宽和延迟是多少的。但是现实的情况是，真正的带宽和延迟情况会有很多变数的，比如说网卡驱动，交换机跳数，丢包率，协议栈配置，光实际速度都很大的影响了数值的估算。 所以我们需要找到工具来实际测量下。 网络测量的工具有很多，netperf什么的都很不错。 我这里推荐了qperf，这是RHEL 6发行版里面自带的，所以使用起来很方便，只要简单的: yum install qperf 就好。
最新的Erlang虚拟机（R15B01）很大的一个改进就是加入了对dtrace探测点的支持了， 具体参见这里, 主要目标是方便在生产实践中定位复杂的性能问题。 目前Erlang的虚拟机的探测点支持Linux的systemtap和freebsd的dtrace，我们刚好能够享受的到。
今天和项仲在部署新系统的时候发现节点间ping不成功的情况，类似 1> net_adm:ping(‘xx@ip1′). pang 这个问题比较普遍，我就记录下一步步的排除步骤. 首先从原理上分析下!由于erlang节点间通讯是透过tcp来进行的，所以我们确保以下几点： 1. 确保网络连接是通的，可以透过ping来查看。 2. 确保网络连接上tcp是可以通的，可以透过netcat在二个节点所在的机器上分别开个服务器端和客户端进行验证。 3. 确保端口是防火墙友好的。erlang的节点是登记在epmd服务上的，所以4369端口要能访问，其次节点的动态端口是可以访问的。
Fio 是个强大的IO压力测试工具，我之前写过不少fio的使用和实践，参见 这里。 随着块设备的发展，特别是SSD盘的出现，设备的并行度越来越高。利用好这些设备，有个诀窍就是提高设备的iodepth, 一把喂给设备更多的IO请求，让电梯算法和设备有机会来安排合并以及内部并行处理，提高总体效率。 应用使用IO通常有二种方式：同步和异步。 同步的IO一次只能发出一个IO请求，等待内核完成才返回，这样对于单个线程iodepth总是小于1，但是可以透过多个线程并发执行来解决，通常我们会用16-32根线程同时工作把iodepth塞满。 异步的话就是用类似libaio这样的linux native aio一次提交一批，然后等待一批的完成，减少交互的次数，会更有效率。 io队列深度通常对不同的设
在过去我们了解系统IO的情况大多数是通过iostat来获取的，这个粒度只能精确到每个设备。通常我们会想了解每个进程,线程层面发起了多少IO，在Linux 2.6.20之前除了用systemtap这样的工具来实现是没有其他方法的，因为系统没有暴露这方面的统计。 disktop per设备per应用层面的IO读写统计，可以参考我之前写的，见这里. 透过lxr的代码确认，在Linux 2.6.20以后引入了TASK_IO_ACCOUNTING功能，通过把每个线程和进程的io活动通过/proc/pid/io导出大大方便了用户，这里需要注意的是RHEL 5U4基于2.6.18内核但是他们backport了这个功能，并由此催生了相应的了解per进程Io活动的工具如pi
最近在把玩些高速的SSD和nvram设备的时候，发现iostat无法统计到这些设备的信息，很是奇怪，于是分析和总结了一把，挺有意思的。
我们透过blktrace来观察io行为的时候，第一件事情需要选择目标设备，以便分析该设备的io行为。具体使用可以参考我之前写的几篇：这里 这里 这里 blktrace分为内核部分和应用部分，应用部分收到我们要捕捉的设备名单，传给内核。内核分布在block层的各个tracepoint就会开始工作，把相关的数据透过relayfs传递到blktrace的应用部分，应用部分把这些数据记到磁盘，以便后续分析。
最近经常要测试新硬件，了解硬件的具体型号和参数就非常重要，过去经常透过lspci -vvv等命令来了解，貌似比较不准确。 今天看到阮军同学用的hwconfig感觉信息很专业，推荐给大家。标准的发布版都带的,所以简单的yum install hwconfig就可以使用了。
大型的服务器，特别是数据库服务器的主要瓶颈主要在内存，CPU，以及IO上。CPU是可再生资源，不够用等等就有了；内存和土地一样是不可再生资源，被占用了，后续的使用必须等到该资源释放.而IO也非常依赖于内存的使用情况,故内存的倒腾效率会大大影响服务器的效率,那么了解服务器内存的使用情况就非常重要。 Linux内核的内存相关的信息主要有下面几个获取管道，这里我们主要讨论的是系统级别的，没具体到各个进程级别： 1. 内核启动时候，VM内存相关模块初始化信息，透过dmesg查看。
最近经常碰到ets表使用的数目超过系统的限制导致Erlang应用异常的案例。 比如说神锋同学报告说在ssh模块里面，最多只能打开500个左右链接，系统空闲的很，但是无法继续加大链接。 浩庭同学报告说mnesia的事务只能开1千多，多了就上不去了。这些问题看起来没有关联。但是其实和ets都有很大的关系,而且会报system_limit错误。
最近我们为了安全方面的原因，在RDS服务器上做了个代理程序把普通的MYSQL TCP连接变成了SSL链接，在测试的时候，皓庭同学发现Tsung发起了几千个TCP链接后Erlang做的SSL PROXY老是报告gen_tcp:accept返回{error, enfile}错误。针对这个问题，我展开了如下的调查： 首先man accept手册，确定enfile的原因，因为gen_tcp肯定是调用accept系统调用的: EMFILE The per-process limit of open file descriptors has been reached. ENFILE The system limit on the total number of open file
最近公司在MySQL的数据库上由于采用了高速的如PCIe卡以及大内存，去年在压力测试的时候突然发现数据库的流量可以把一个千M网卡压满了。随着数据库的优化，现在流量可以达到150M，所以我们采用了双网卡，在交换机上绑定，做LB的方式，提高系统的吞吐量。 但是在最近压测试的一个数据库中，mpstat发现其中一个核的CPU被软中...
随着包括存储设备在内服务器的能力越来越高，特别是用上了PCIe存储卡后，IOPS能力通常有10几万，马上过剩。在这种情况下，一台服务器可以干很多事情，在上面跑很多服务。那么如何保证系统的服务质量是个很重要的事情了。 我们在下来的的项目中倾向于用cgroup来做资源的隔离和限制，原因是cgroup的开销很小，而且很易用。cgroup 可...
微博上的@拉风_zhang提出了个问题： @淘宝褚霸 请教个问题，#1. cat huge_dump.sql | mysql -uroot ；#2. mysql -uroot < huge_dump.sql ；#1效率要高，在linux中通过管道传输 和 < 这种方式有什么差别呢？谢谢！#AskBaye# 这个问题挺有意思的，我的第一反应是： 没比较过，应该是一样的，一个是cat负责打开文件，一个是bash 这种...
Erlang虽然号称N个9的稳定性，但是在实际使用中还是有很多机会看到Erlang Crash了的，其中和VM相关的Crash 十有八九是由于内存使用过量，导致系统服务分配内存导致的。Erlang的内存分配测量是集中批发，零售给各个VM部件，包括用户进程和ETS数据库等内存消费大户。VM的内存增长是以fib方式上升的，一旦你的内存使用到G级别，那么之...
在新的NUMA体系结构下，每个CPU都有自己的本地内存，如果要访问其他CPU的内存，那算remote了，要走CPU之间的QPI通道，通常这样速度会有40%的下降。 那么对于多线程的程序来讲，这个硬件的变化对软件也有很大的影响。在多线程程序里面，通常一个线程会为一个对象分配内存，然后把这个对象传递到不同的线程去...
Linux下的pipe使用非常广泛, shell本身就大量用pipe来粘合生产者和消费者的. 我们的服务器程序通常会用pipe来做线程间的ipc通讯. 由于unix下的任何东西都是文件,只要是文件,在读取的时候,,就会设置last access time, 所以pipe也不例外., 但是这个时间对我们没有意义 如果pipe使用的非常频繁的时候会碰到由于设置访问时间导致的性能问题. 这...
rebar和common_test配合起来用的很爽。
默认情况下Erlang的集群访问是全授权的，只要cookie认证过了后，新加入的节点可以访问集群里面的任何机器，这给运维带来很大风险。目前erlang有二种方法可以限制 1. IP网段限制，参看这里 2. 节点名称限制。
很多同学误会了epmd的作用，认为epmd就是erlang集群的协议，我来澄清下： Epmd是Erlang Port Mapper Daemon的缩写，在Erlang集群中的作用相当于dns的作用，提供节点名称到端口的查询服务，epmd绑定在总所周知的4369端口上。 epmd文档：这里 epmd协议：这里 Erlang的节点名称是类似这样的foo@ip的格式，当一个节点启动的时候，首先会在本机...
近3天十大热文
-
[610] WEB系统需要关注的一些点 -
[609] 如何拿下简短的域名
-
[15] 什么是DNS劫持和DNS污染？
-
[13] 基于SSD的数据库性能优化
-
[12] Zookeeper工作原理
-
[12] 大并发下的高性能编程 – 改进的（用户态）自
-
[11] Mysql监控指南
-
[11] 使用DNSPOD的API实现动态域名
-
[11] 一致性哈希算法及其在分布式系统中的应用
-
[10] Twitter/微博客的学习摘要
赞助商广告
