系统运维 -- IT技术博客大学习 -- 共学习共进步！

• 本周扑火之 http client 慢连接问题

短链服务自从上线到现在，已经出了 5 回故障了：第一次，某著名的刚过百年的大学，紫荆公寓的一个哥们，写了一个诡异的抓站程序，发出来的 http 请求不合法，导致 jetty 缓冲区出错（微博上的直播）。给 Jetty 提了一个 bug，但开发人员说没法重现。我自己写的程序也没法重现当时的情形。自己写了一个 Utf8StringBuilder，覆盖了 Jetty 的版本，增加了出错重置功能，就算 fix 了。第二次，log 把磁盘写满了。运维人员的低级失误...

• 本周扑火之 redis 不给力

Social Graph 高速接口，当前我们使用 Redis 存储。但在实现的过程中，发现了诸多的问题。 48G 内存的机器上部署了 2 个 Redis 进程，一个 Redis 占用超过 21 G 内存后，在快速写入的过程中同时进行一次 bgsave ，就将机器给弄挂了（微博上的直播）。我们对 Redis 的监控远不如对 Mysql 之类的完善，以至于 Redis 机器假死，居然没有触发任何的报警。在经过几天的 debug 后，终于找到了问题所在，复杂的上线流程：源码 svn 合 tru...

• Hadoop超级安装手册

安装Hadoop并不困难，官方文档也给的还算详细。最近同事练习安装还是会遇到一些问题，最后我们整理出来傻瓜版安装手册，帮助你0基础成功。

• Hadoop安装端口已经被占用问题的解决方法

在测试安装hadoop的时候，通常会遇到大家在同一批机器上安装hadoop的情况，这样的话会有端口已经被占用导致安装不成功的情况出现。 Hadoop日志会提示这种错误： ERROR org.apache.hadoop.mapred.TaskTracker: Can not start task tracker because java.net.BindException: Address already in use 在这种情况下，最好的方法就是在配置环境时把所有的端口配置都进行修改。在hadoop 0.20版本会涉及到3个配置文件： core-site...

• 提升磁盘IO性能的几个技巧

　　目前磁盘都是机械方式运作的，主要体现在磁盘读写前寻找磁道的过程。磁盘自带的读写缓存大小，对于磁盘读写速度至关重要。读写速度快的磁盘，通常都带有较大的读写缓存。磁盘的寻道过程是机械方式，决定了其随机读写速度将明显低于顺序读写。在我们做系统设计和实现时，需要考虑到磁盘的这一特性。　　FastDFS是一个开源的高效分布式文件系统，它最初的实现，文件是按hash方式随机分布到多个目录中的，后来增加了顺序存放的做...

• 菜鸟谈HBase之写速度篇

Facebook在谈到其选择HBase作为新的message体系的存储时，提到了一点是hbase的高性能写，那hbase的写性能状况到底如何了，还是需要靠测试来说明，在这篇blog中就以我们目前做的一些测试来看看hbase的写速度，以及分享下我们对于测试中体现出来的数据的分析和测试时碰到的一些问题。

• 用 awstats分析 Nginx 日志的一些记录

Awstats 是目前最流行的日志分析工具，它提供比第三方日志更方便更详实的日志分析。

• *nix下关于配置的一些笔记

最近一直在做一些服务器配置方面的东东, 记录下来, 备以后用.环境变量设置 (Mac OS X 10.6 Snow Leopard 中设置PATH环境变量) sudo vim /etc/paths将路径添加到里面去，一行一个路径或者vim vim /etc/bashrc在里面和unix一样用export命令添加安装python MYSQLdb, 环境mac os x 10.6, linux其它环境类似安装python MYSQLdb, 环境mac os x 10.6, linux其它环境类似 0. 确保 mysql 的 configure 参数里面有 --enable-thread-safe-cl...

• 如何用 minicpan 映像自己的 CPAN

因为现在家中的网络不方便下载，有点不太给力，所以自己搞个本地的 cpan ，这样可以静下心来写程序不用连网。所以找了一下怎么给 cpan 放到本地的方法转自 fayland 大大的文章.

• oprofile抓不到采样数据问题和解决方法

最近有同学反映在某些新机器上做性能调优的时候， oprofile 有时抓不到数据，我之前也遇到这个情况，很是无语，今天特地验证了下。

• 批量添加主机到cacti+nagios的监控报警系统中

年前很长时间都在鼓弄cacti+nagios，完善我们的监控报警系统，并在在田老师的指导下，对监控系统又有了跟多的认识，其实，监控系统不单单仅仅为了发现故障，它还可以为我们的许多项目实施提供资源，运维的很多事情都可以围绕它来展开，可谓ALL IN ONE。目前，还是主要采用cacti+nagios的组合，cacti提供历史记录和趋势走势，nagios主机和服务的故障报警，当随着主机的增多，各应用监控项的不断增加，cacti和nagios都将会面临性能问...

• 用git部署php站点

在小站点上，直接用git来部署php代码是相当方便的事情，你的远程站点以及本地版本库都有一个版本控制，追踪问题或者回滚是很轻松的事情。下面介绍用git部署时的设置步骤。

• latencytop深度了解你的Linux系统的延迟

latencytop深度了解你的Linux系统的延迟我们在系统调优或者定位问题的时候，经常会发现多线程程序的效率很低，但是又不知道问题出在哪里，就知道上下文切换很多，但是为什么上下文切换，是谁导致切换，我们就不知道了。

• 删除查看二进制日志

删除查看二进制日志

• 复制SSH回话,避免多次密码输入

就当时记事吧. 这不是怎样配置ssh密钥避免密码输入的实例,　当然经常ssh登陆的你肯定也配置过了. 我们公司的内网环境比较特殊,　为了安全性做了各种认证,　联入网络需要准入一下,　准入需要使用密码+随即密码的方式认证,　是挺安全的,　可以对于我们来说其实很痛苦,每次都要输入一下密码,因为包含了随即密码,我们无法使用脚本来方便的准入.　我们联入公司的开发机需要通过一台特殊的服务器来将我们的登陆转发,　也就是登陆到中转机...

• systemtap观察page_cache的使用情况

原创文章，转载请注明：转载自Erlang非业余研究本文链接地址: systemtap观察page_cache的使用情况在规划服务器的内存使用的时候经常需要知道应用在理想情况下会使用多少的pagecache, 我们好预先把这个内存预留出来. 这个值操作系统没有提供可查看的管道,我们只能自己写个脚本来实现. 下面的systemtap脚本每隔N秒显示下当前os下头10个文件占用多少的pagecache, 降序排列.

• Centos yum 安装nginx+PHP-FPM+eAccelerator+mysql

记录下我在linodeVPS 的Centos下安装配置nginx+PHP-FPM+eAccelerator+mysql的过程。添加安装源 Centos 默认官方源中没有nginx 和 php-fpm 所以必须添加第三方源，不然就只能自己编译了。

• linux环境下使用GFS文件系统

GFS文件系统其实是一个网络日志文件系统，通常被用作多台计算机共享同一存储设备…… GFS文件系统其实是一个网络日志文件系统，通常被用作多台计算机共享同一存储设备。由于 GFS是日志文件系统，所以，如果将其应用到单独的一台计算机上，即完全等同于本地日志文件系统，享受日志文件系统带来的好处。本文便向各位简介GFS文件系统在linux环境下的使用。

• 使用smartmontools监控磁盘状况

Smartmontool是sourceforge上的一个开源项目，可以对磁盘的S.M.A.R.T.进行提取和定期监控。Smartmontool包含两个工具： smartctl和smartd。

• ftrace和它的前端工具trace-cmd

最近在调查lockless的ring_buffer的时候,发现了ftrace. ftrace是 Linux 内核中提供的一种调试工具。使用 ftrace 可以对内核中发生的事情进行跟踪，这在调试 bug 或者分析内核时非常有用.