阿里巴巴中间件 -- IT技术博客大学习 -- 共学习共进步！

• fqueue初步分析

fqueue是国产的一个类似memcacheq,kestrel这样的支持memcached协议的轻量级开源MQ。写个初步分析报告。首先是它的存储层，主要是一个FQueue这么一个抽象队列，内部实现是FSQueue，也就是基于文件的FIFO队列。这个队列是多个文...

• 高性能EL――Fel探秘，兼谈EL

Fel是最近javaeye比较火的关键词，这是由网友lotusyu开发的一个高性能的EL，从作者给出的数据来看，性能非常优异，跟前段时间温少开源的Simple EL有的一拼。首先要说，这是个好现象，国内的开源项目越来越多，可以看出开发者的水平是越来越高了，比如我最近还看到有人开源的类似kestel的轻量级MQ――fqueue也非常不错，有兴趣可以看下我的分析《fqueue初步分析》。进入正文，本...

• MySQL小工具之压测Groovy

用Groovy编写的一个简单的MySQL给压力的工具,原先是用python写的,但是发现MySQLdb在liunx下性能不佳,就改用Groovy来实现了,支持简单的分表,支持useServerPrepStmts 这里有两个版本 mysql_test.groovy : 他的各类SQL的比例完全按照设的的比率执行,比如100:1的读写比,那么MySQL执行的读写SQL肯定也是100:1 mysql_test_for_thd.groovy : 他的SQL执行比率是线程比,如果设的100:1的读写比那么就是100个线程(连接)去...

• 使用sysbench来测试Row Cache解惑

分析了一下 sysbench的三个测试场景uniform,gaussian,special都不是很符合Row Cache的使用场景导致效果不明显先来解释一下 Row Cache要解决的问题主要是在有热门数据且热门数据分布很离散的情况下Page缓存导致的内存利用率低的问题,我们做过测试,在innodb内部对Page访问打点的统计来看,一个row有500字节大小,热门数据大概占千分之一地情况下,...

• easy_runner一个简单的压测程序

这次再公开一个小工具 easy_runner 一个来用做压测的小工具我主要用来做MySQL压测的时候,直接压业务端用的. 程序很简单,总共不到400来行,推荐程序员自己压测用,比LoadRunner这种重型压测工具使用起来方便多了

• Row Cache For Innodb

最近在做MySQL的优化,看到现在MySQL分表分库后导致的内存利用率较低的问题,进行了优化,问题当一个MySQL存不下全部的数据时,那么分库分表是一种常规的解决方案.但是一旦分库分表之后,关系型数据库对应的关系实际上被弱化了,很多查询不得不转换为类似K-V的查询.一般情况下为了使分库分表的数据尽量的平均都采用去模(mod)...

• Innodb 中 rec_get_offsets 的使用注意点

Innodb 中 rec_get_offsets 的使用注意点

• zookeeper使用和原理探究（一）

zookeeper介绍 zookeeper是一个为分布式应用提供一致性服务的软件，它是开源的Hadoop项目中的一个子项目，并且根据google发表的论文来实现的，接下来我们首先来安装使用下这个软件，然后再来探索下其中比较重要一致性算法。

• ConcurrentHaspLRUHashMap实现初探

ConcurrentHaspLRUHashMap实现初探一、关于LRU。 LRU 即 Least Rencetly Used（最近最少使用）缓存替换策略。在任何LRU算法中，它必定有以下两个策略组成： 1、退化策略。根据访问情况，对节点按热度进行排序（hot->cold），以便决定哪些节点是热节点（hot）的，哪些节点是冷节点（cold）的。这个退化的策略，一般按以下两种方式去处理： l 非集中式。即每命中一次就进行退化操作。非集中式的退化操作，往...

• 网络编程中Nagle算法和Delayed ACK的测试

Nagle算法的立意是良好的，避免网络中充塞小封包，提高网络的利用率。但是当Nagle算法遇到delayed ACK悲剧就发生了。Delayed ACK的本意也是为了提高TCP性能，跟应答数据捎带上ACK，同时避免糊涂窗口综合症，也可以一个ack确认多个段来节省开销。悲剧发生在这种情况，假设一端发送数据并等待另一端应答，协议上分为头部和数据，发送的时候不幸地选择了write-write，然后再read，也就是先发送头部，再发送数据，最后等待应答。发送...

• 基于OS信号实现Java异步通知

本文将结合操作系统的信号机制，来尝试实现一个简单的，不依赖功能环境的Java异步通知功能。没有特殊说明，本文所有的示例，都是基于Linux。信号简介信号是在软件层次上对中断机制的一种模拟，在原理上，一个进程收到一个信号与处理器收到一个中断请求可以说是一样的。通俗来讲，信号就是进程间的一种异步通信机制。典型的例子: kill -s SIGKILL pid (即kill -9 pid) 立即杀死指定pid的进程。在上面这个例子中，SIGKILL就是...

• java 安全沙箱模型详解

起到第一道安全保障作用的”双亲委派类加载模型” 双亲委派方式的类加载，指的是优先从顶层启动类加载器开始，自顶向下的方式加载类的模型（参见第一条类装载器体系结构）。这种模型的好处是，底层的类装载器装载的类无法与顶层类装载器装载的类相互调用。哪怕是同包下的类，只要他们不属于同一类装载器，都是相互隔绝的。这对一些有安全隐患的类起到了安全隔离的作用。使它不能冒充系统类来破坏程序正常运作。此外，不同的类装...

• Java 6 JVM参数选项大全（中文版）

本文是基于最新的SUN官方文档Java SE 6 Hotspot VM Options 编写的译文。主要介绍JVM中的非稳态选项及其使用说明。为了让读者明白每个选项的含义，作者在原文基础上补充了大量的资料。希望这份文档，对正在研究JVM参数的朋友有帮助！另外，考虑到本文档是初稿，如有描述错误，敬请指正。非稳态选项使用说明 -XX:+<OPTION> 启用选项 -XX:-<OPTION> 不启用选项 -XX:<OPTION>=<NUMBER> 给选项设置...

• HBase性能调优

因官方Book Performance Tuning部分章节没有按配置项进行索引，不能达到快速查阅的效果。所以我以配置项驱动，重新整理了原文，并补充一些自己的理解，如有错误，欢迎指正。配置优化 zookeeper.session.timeout 默认值：3分钟（180000ms）说明：RegionServer与Zookeeper间的连接超时时间。当超时时间到后，ReigonServer会被Zookeeper从RS集群清单中移除，HMaster收到移除通知后，会对这台server负责的regions重新balance，让其他...

• Cassandra和HBase主要设计思路对比

Cassandra HBase 一致性 Quorum NRW策略通过Gossip协议同步Merkle Tree，维护集群节点间的数据一致性单节点，无复制，强一致性可用性 1，基于Consistent Hash相邻节点复制数据，数据存在于多个节点，无单点故障。 2，某节点宕机，hash到该节点的新数据自动路由到下一节点做 hinted handoff，源节点恢复后，推送回源节点。 3，通过Gossip协议维护集群所有节点的健康状态，并发送同步请求，维护数据一致性。 4，SSTable，纯文件，...

• Push Or Pull?

无论是消息系统，还是配置管理中心，甚至存储系统，你都要面临这样一个选择，push模型 or pull模型?是服务端主动给客户端推送数据，还是客户端去服务器拉数据，一张图表对比如下： push模型 pull模型描述服务端主动发送数据给客户端客户端主动从服务端拉取数据，通常客户端会定时拉取实时性较好，收到数据后可立即发送给客户端一般，取决于pull的间隔时间服务端状态需要保存push状态，哪些客户端已经发送成功，哪些发送失...

• HBase二级索引与Join

二级索引与索引Join是多数业务系统要求存储引擎提供的基本特性，RDBMS早已支持，NOSQL阵营也在摸索着符合自身特点的最佳解决方案。这篇文章会以HBase做为对象来讨论如何基于Hbase构建二级索引与实现索引join。文末同时会列出目前已知的包括0.19.3版secondary index, ITHbase, Facebook方案和官方Coprocessor的介绍。理论目标在HBase中实现二级索引与索引Join需要考虑三个目标： 1，高性能的范围检索。 2，数据的低冗余（存储所...

• ZooKeeper解惑

最近针对ZK一些比较疑惑的问题，再看了一下相关代码，列举如下。这里只列官方文档中没有的，或者不清晰的。以zookeeper-3.3.3为基准。以下用ZK表示ZooKeeper。一个ZooKeeper对象，代表一个ZK Client。应用通过ZooKeeper对象中的读写API与ZK集群进行交互。

• 做基础产品的体会

一个公司大了，总有部分人要去做一些通用的东西给大家用，我这里说的基础产品就是这类通用性质的东西，不一定高科技，但是一定很多人依赖你的东西来完成各种各样的功能。做这样的东西，有些体会可以说下。首先，能集中存储的，就不要分布存储，数据集中存储有单点的危险，但是比之分布式存储带来的复杂度不可同日而语。况且集中式的存储也可以利用各种机制做备份，所谓单点风险远没有想象中那么大。其次，能利用开源框架的，就不...

• 理解Heap Profling名词-Shallow和Retained Sizes

所有包含Heap Profling功能的工具（MAT, Yourkit, JProfiler, TPTP等）都会使用到两个名词，一个是Shallow Size，另一个是 Retained Size. 这是两个在平时不太常见的名词，本文会对这两个名词做一个详细的解释。 Shallow Size 对象自身占用的内存大小，不包括它引用的对象。针对非数组类型的对象，它的大小就是对象与它所有的成员变量大小的总和。当然这里面还会包括一些java语言特性的数据存储单元。