您现在的位置：首页
--> 阿里巴巴中间件
fqueue是国产的一个类似memcacheq,kestrel这样的支持memcached协议的轻量级开源MQ。写个初步分析报告。 首先是它的存储层，主要是一个FQueue这么一个抽象队列，内部实现是FSQueue，也就是基于文件的FIFO队列。这个队列是多个文...
Fel是最近javaeye比较火的关键词，这是由网友lotusyu开发的一个高性能的EL，从作者给出的数据来看，性能非常优异，跟前段时间温少开源的Simple EL有的一拼。首先要说，这是个好现象，国内的开源项目越来越多，可以看出开发者的水平是越来越高了，比如我最近还看到有人开源的类似kestel的轻量级MQ――fqueue也非常不错，有兴趣可以看下我的分析《fqueue初步分析》。 进入正文，本...
用Groovy编写的一个简单的MySQL给压力的工具,原先是用python写的,但是发现MySQLdb在liunx下性能不佳,就改用Groovy来实现了,支持简单的分表,支持useServerPrepStmts 这里有两个版本 mysql_test.groovy : 他的各类SQL的比例完全按照 设的的比率执行,比如100:1的读写比,那么MySQL执行的读写SQL肯定也是100:1 mysql_test_for_thd.groovy : 他的SQL执行比率是线程比,如果设的100:1的读写比 那么就是100个线程(连接)去...
分析了一下 sysbench的三个测试场景uniform,gaussian,special都不是很符合Row Cache的使用场景导致效果不明显 先来解释一下 Row Cache要解决的问题主要是在有热门数据且热门数据分布很离散的情况下Page缓存导致的内存利用率低的问题,我们做过测试,在innodb内部对Page访问打点的统计来看,一个row有500字节大小,热门数据大概占千分之一地情况下,...
这次再公开一个小工具 easy_runner 一个来用做压测的小工具 我主要用来做MySQL压测的时候,直接压业务端用的. 程序很简单,总共不到400来行,推荐程序员自己压测用,比LoadRunner这种重型压测工具使用起来方便多了
最近在做MySQL的优化,看到现在MySQL分表分库后导致的内存利用率较低的问题,进行了优化,问题 当一个MySQL存不下全部的数据时,那么分库分表是一种常规的解决方案.但是一旦分库分表之后,关系型数据库对应的关系实际上被弱化了,很多查询不得不转换为类似K-V的查询.一般情况下为了使分库分表的数据尽量的平均都采用去模(mod)...
Innodb 中 rec_get_offsets 的使用注意点
zookeeper介绍 zookeeper是一个为分布式应用提供一致性服务的软件，它是开源的Hadoop项目中的一个子项目，并且根据google发表的论文来实现的，接下来我们首先来安装使用下这个软件，然后再来探索下其中比较重要一致性算法。
ConcurrentHaspLRUHashMap实现初探 一、 关于LRU。 LRU 即 Least Rencetly Used（最近最少使用）缓存替换策略。在任何LRU算法中，它必定有以下两个策略组成： 1、 退化 策略。根据访问情况，对节点按热度进行排序（hot->cold），以便决定哪些节点是热节点（hot）的，哪些节点是冷节点（cold）的。这个退化的策略，一般按以下两种方式去处理： l 非集中式。即每命中一次就进行退化操作。 非集中式的退化操作，往...
Nagle算法的立意是良好的，避免网络中充塞小封包，提高网络的利用率。但是当Nagle算法遇到delayed ACK悲剧就发生了。Delayed ACK的本意也是为了提高TCP性能，跟应答数据捎带上ACK，同时避免糊涂窗口综合症，也可以一个ack确认多个段来节省开销。 悲剧发生在这种情况，假设一端发送数据并等待另一端应答，协议上分为头部和数据，发送的时候不幸地选择了write-write，然后再read，也就是先发送头部，再发送数据，最后等待应答。发送...
本文将结合操作系统的信号机制，来尝试实现一个简单的，不依赖功能环境的Java异步通知功能。 没有特殊说明，本文所有的示例，都是基于Linux。 信号简介 信号是在软件层次上对中断机制的一种模拟，在原理上，一个进程收到一个信号与处理器收到一个中断请求可以说是一样的。 通俗来讲，信号就是进程间的一种异步通信机制。 典型的例子: kill -s SIGKILL pid (即kill -9 pid) 立即杀死指定pid的进程。 在上面这个例子中，SIGKILL就是...
起到第一道安全保障作用的”双亲委派类加载模型” 双亲委派方式的类加载，指的是优先从顶层启动类加载器开始，自顶向下的方式加载类的模型（参见第一条类装载器体系结构）。 这种模型的好处是，底层的类装载器装载的类无法与顶层类装载器装载的类相互调用。 哪怕是同包下的类，只要他们不属于同一类装载器，都是相互隔绝的。这对一些有安全隐患的类起到了安全隔离的作用。使它不能冒充系统类来破坏程序正常运作。 此外，不同的类装...
本文是基于最新的SUN官方文档Java SE 6 Hotspot VM Options 编写的译文。主要介绍JVM中的非稳态选项及其使用说明。 为了让读者明白每个选项的含义，作者在原文基础上补充了大量的资料。希望这份文档，对正在研究JVM参数的朋友有帮助！ 另外，考虑到本文档是初稿，如有描述错误，敬请指正。 非稳态选项使用说明 -XX:+<OPTION> 启用选项 -XX:-<OPTION> 不启用选项 -XX:<OPTION>=<NUMBER> 给选项设置...
因官方Book Performance Tuning部分章节没有按配置项进行索引，不能达到快速查阅的效果。所以我以配置项驱动，重新整理了原文，并补充一些自己的理解，如有错误，欢迎指正。 配置优化 zookeeper.session.timeout 默认值：3分钟（180000ms） 说明：RegionServer与Zookeeper间的连接超时时间。当超时时间到后，ReigonServer会被Zookeeper从RS集群清单中移除，HMaster收到移除通知后，会对这台server负责的regions重新balance，让其他...
Cassandra HBase 一致性 Quorum NRW策略 通过Gossip协议同步Merkle Tree，维护集群节点间的数据一致性 单节点，无复制，强一致性 可用性 1，基于Consistent Hash相邻节点复制数据，数据存在于多个节点，无单点故障。 2，某节点宕机，hash到该节点的新数据自动路由到下一节点做 hinted handoff，源节点恢复后，推送回源节点。 3，通过Gossip协议维护集群所有节点的健康状态，并发送同步请求，维护数据一致性。 4，SSTable，纯文件，...
无论是消息系统，还是配置管理中心，甚至存储系统，你都要面临这样一个选择，push模型 or pull模型?是服务端主动给客户端推送数据，还是客户端去服务器拉数据，一张图表对比如下： push模型 pull模型 描述 服务端主动发送数据给客户端 客户端主动从服务端拉取数据，通常客户端会定时拉取 实时性 较好，收到数据后可立即发送给客户端 一般，取决于pull的间隔时间 服务端状态 需要保存push状态，哪些客户端已经发送成功，哪些发送失...
二级索引与索引Join是多数业务系统要求存储引擎提供的基本特性，RDBMS早已支持，NOSQL阵营也在摸索着符合自身特点的最佳解决方案。 这篇文章会以HBase做为对象来讨论如何基于Hbase构建二级索引与实现索引join。文末同时会列出目前已知的包括0.19.3版secondary index, ITHbase, Facebook方案和官方Coprocessor的介绍。 理论目标 在HBase中实现二级索引与索引Join需要考虑三个目标： 1，高性能的范围检索。 2，数据的低冗余（存储所...
最近针对ZK一些比较疑惑的问题，再看了一下相关代码，列举如下。这里只列官方文档中没有的，或者不清晰的。以zookeeper-3.3.3为基准。以下用ZK表示ZooKeeper。 一个ZooKeeper对象，代表一个ZK Client。应用通过ZooKeeper对象中的读写API与ZK集群进行交互。
• 做基础产品的体会
一个公司大了，总有部分人要去做一些通用的东西给大家用，我这里说的基础产品就是这类通用性质的东西，不一定高科技，但是一定很多人依赖你的东西来完成各种各样的功能。做这样的东西，有些体会可以说下。 首先，能集中存储的，就不要分布存储，数据集中存储有单点的危险，但是比之分布式存储带来的复杂度不可同日而语。况且集中式的存储也可以利用各种机制做备份，所谓单点风险远没有想象中那么大。 其次，能利用开源框架的，就不...
所有包含Heap Profling功能的工具（MAT, Yourkit, JProfiler, TPTP等）都会使用到两个名词，一个是Shallow Size，另一个是 Retained Size. 这是两个在平时不太常见的名词，本文会对这两个名词做一个详细的解释。 Shallow Size 对象自身占用的内存大小，不包括它引用的对象。 针对非数组类型的对象，它的大小就是对象与它所有的成员变量大小的总和。当然这里面还会包括一些java语言特性的数据存储单元。
近3天十大热文
-
[754] WEB系统需要关注的一些点 -
[135] 如何拿下简短的域名
-
[21] 移动音乐产品梳理
-
[16] 豆瓣是啥？
-
[14] Chrome开发者工具的小技巧
-
[13] 内存的惰性初始化
-
[12] 基于SSD的数据库性能优化
-
[12] 产品经理的取舍之道与抽象能力
-
[11] iOS和Android设计规范备忘表
-
[11] sns视觉设计分享
赞助商广告
