NinGoo.net -- IT技术博客大学习 -- 共学习共进步！

• 大数据下的工行

2013.6.23，工行发生重大系统故障，已经有一阵子了。今天想起写这个话题，完全是因为昨天看到了一条现在已经被和谐的微博，当时随手收藏却忘记了粉一下Po主，和谐之后已经死无对证，找不到“传谣”的人了，于是标题的最后形容某群体组织的四个字的专有名词变成了“工行”，不过也好，原来想的标题估计是跨不过深壑的。

• 时光荏苒，五年陈酿

这一天，终于成为了阿里巴巴五年陈。从进入淘宝的第一天，一年香，三年醇，五年陈的说法就一直萦绕在耳边。还记得一年香的时候礼物是一个印着小蚂蚁的杯子，貌似当年的蚂蚁已经进化成了如今的淘公仔，蚂蚁标记已经从各种地方慢慢消失。其实当年经常唱响的一首小蚂蚁大淘宝的歌依然还在记忆深处吟唱，那时候的淘宝真的非常草根，而今这种感觉可能随着时间感觉已经冲淡了不少。那时候的淘宝DBA团队，兵少而精，数据库都跑在高富帅的IOE(IBM小型机/Oracle数据库/EMC存储)上，现在回首整个就是一青葱岁月，但第一年的收获真的非常大，也经历过至今想起来还浑身冒冷汗的故障。

• 关于HBase的一些零碎事

目前稳定版本的HBase0.90.2只能基于Hadoop0.20.x系列版本，暂不支持最新的0.21.x。而且官方版本的Hadoop0.20.2(或者0.203.0)缺少一个重要的特性，HDFS不支持sync模式的持久，这样HBase就有较大的丢失数据的风险。要在生产环境使用HBase，有两个选择，一是使用Cloudera的CDH3版本，Cloudera就类似MySQL的Percona，对官方版本的Hadoop做了很多改进工作，而且经典的《Hadoop：The Definitive Guide》一书的作者Tom White就是Cloudera的一员，这也和《High performance MySQL》一书的作者主要来是Percona一样。另外一种选择，就是自行编译Hadoop branch-0.20-append源码分支，这里有详细的说明。

• 深入浅出Flashcache（五）

前几天因为测试新版的Flashcache，为了便于监控性能指标，用Perl写了个秒级的监控程序Flashstat，一开始是通过定期获取dmsetup status的信息做解析，后来在flashcache-dev邮件列表中讨论时，Flashcache的...

• 深入浅出Flashcache（四）

我们可以用内存来模拟一个性能很好的Flash设备，当然这有一个缺点，就是主机重启后就啥都没了，不过用于实验测试这应该不是什么大问题。用内存来模拟块设备有两种方法，ramdisk或者tmpfs+loop device。由于ramdisk要调整大小需要修改grub并重启，这里我们用tmpfs来实现。

• 深入浅出Flashcache（三）

前文简单介绍了block device和device mapper。有了这两个基础，再来看flashcache的代码，就容易理解多了。Flashcache是一个内核模块，要更清晰的理解代码，还需要了解一下内核模块编写的一些基础知...

• 深入浅出Flashcache（二）

前文简单的介绍了block device，别急，虽然这个系列的主要目的是介绍Flashcache，这一篇还是不会切入正题，因为我们还需要先了解下什么是device mapper。假如一台主机插入了多块硬盘，单块硬盘...

• 深入浅出Flashcache（一）

Cache is king. 在计算机系统中，cache的魔爪无处不在。CPU中有L1,L2,甚至L3 cache;Linux有pagecache，MySQL有buffer cache/query cache;IO系统中Raid卡/磁盘也有cache;在大型互联网系统中，数据库前面一般也都有一层...

• 白话MongoDB（三）

最简单的，通过执行mongod即可以启动MongoDB数据库服务，mongod支持很多的参数，但都有默认值，其中最重要的是需要指定数据文件路径，或者确保默认的/data/db存在并且有访问权限，否则启动后会自动关闭服务。Ok，那也就是说，只要确保dbpath就可以启动MongoDB服务了

• 关于HBase的一些零碎事

关于HBase的一些零碎事

• 白话MongoDB（二）

MongoDB提供了部分系统的编译版本，但从研究学习以及线上不同依赖包的稳定性的目标，个人还是比较推荐从源代码编译安装的方式。MongoDB的源代码依赖了一些基础组件，如js引擎Spider Monkey，正则表达式引擎PCRE，安装构建工具Scons，以及C++的boost库等，因此编译还是有些麻烦的，realzyy的这篇文章已经比较详细的说明了编译的步骤，主要基于Redhat系统。

• 白话MongoDB（一）

按照官方的说法，MongoDB是一种可扩展的高性能的开源的面向文档（document-oriented ）的数据库，采用C++开发。注意mongo不是mango（芒果），这个词是从humongous中截取出来的，其野心不言而明，直指海量数据存储。和其他很多NoSQL不太一样，MongoDB背后有一个专门的商业公司在提供支持和推广，有点类似MySQL AB的模式。这一系列文章，是为入门者写的，已经对NoSQL和MongoDB有一定研究和经验的，可以略过，或者看看如有疏漏，请留言指出。

• InnoDB的多版本一致性读的实现

InnoDB是支持MVCC多版本一致性读的，因此和其他实现了MVCC的系统如Oracle，PostgreSQL一样，读不会阻塞写，写也不会阻塞读。虽然同样是MVCC，各家的实现是不太一样的。

• 使用smartmontools监控磁盘状况

Smartmontool是sourceforge上的一个开源项目，可以对磁盘的S.M.A.R.T.进行提取和定期监控。Smartmontool包含两个工具： smartctl和smartd。

• 在Ubuntu上安装MySQLdb

Author:NinGoo posted on NinGoo.net 准备用Python写点脚本练练手，于是在Ubuntu上安装Python的MySQLdb，本以为很简单的事，没想到还碰到几个小波折，因此记录一下以备忘。首先需要安装Python-dev，否则后面...

• 在Ubuntu上使用SystemTap

虽然很早以前听说过，但基本没用过，最近褚霸同学的介绍，勾起了我对这个东西的兴趣。最近在工作笔记本上装了个Ubuntu10.10做为主操作系统，因此正好在上面也实...

• Cassandra运维之道 v0.2

最近几个尝试性的Cassandra应用中碰到了一些问题，在查找问题的过程中发现之前有些理解不到位，或者有偏差遗漏的地方，在v0.1的基础上，修改补充了小部分内容。从实际应用来看，Cassandra节点的稳定性还有很多工作要做，而实际系统的运维也还有很多的细节需要逐步规范下来。此PPT中有错漏或者待补充完善的地方，也欢迎大家指正。

• Perl的English模块

Perl中有很多以$开头的特殊变量，如果使用得当，可以写出简洁高效的代码，但对于阅读代码来说就带来了一些困扰。因此Perl内置了名为English的模块，对这些特殊变...

• Cassandra运维之道

Author:NinGoo posted on NinGoo.net 对于传统的关系数据库Oracle/MySQL等，NoSQL一个相当大的不足是文档资料的缺失。相对而言，Cassandra还能找到不少资料，这个ppt是我根据网上一些资料，结合这几天浏览...

• Cassandra之Token

将Cassandra用于实际的生成环境，一个必须要考虑的关键问题是Token的选择。Token决定了每个节点存储的数据的分布范围，每个节点保存的数据的key在(前一个节点Token，本节点Token]的半开半闭区间内，所有的节点形成一个首尾相接的环，所以第一个节点保存的是大于最大Token小于等于最小Token之间的数据。