海量小文件存储
Web2.0网站，数据内容以几何级数增长，尤其是那些小文件，几K～几百K不等，数量巨多，传统的文件系统处理起来很是吃力，很多网站在scaling的过程中都遇到了这样的问题：磁盘IO过高；备份困难；单点问题，容量和读写无法水平扩展，还存在故障的可能。 YouTube也碰到这样的问题，每一个视频有4个缩微图，这样的话缩微图数量是视频数量的四倍，想象一下YouTube有多少视频，看一下他们遇到的问题： 大量的磁盘寻址，在操作系统层面出...
技术文章精选
低噪声、高可扫读；标题、摘要、来源、标签一目了然。
近 24 小时热文
近 3 天热文
最新文章
采集自各技术站点的近期文章。
根据status信息对MySQL服务器进行优化（二）
续根据status信息对MySQL服务器进行优化（一），直入主题。
根据status信息对MySQL服务器进行优化（一）
网上有很多的文章教怎么配置MySQL服务器，但考虑到服务器硬件配置的不同，具体应用的差别，那些文章的做法只能作为初步设置参考，我们需要根据自己的情况进行配置优化，好的做法是MySQL服务器稳定运行了一段时间后运行，根据服务器的”状态”进行优化。 mysql> show global status; 可以列出MySQL服务器运行各种状态值，另外，查询MySQL服务器配置信息语句： mysql> show variables;
MySQL全文检索中不进行全文索引默认过滤词表(ft_stopword_file =>ft_precompiled_stopwords)
MySQL支持全文索引和全文检索功能。 （详细的MySQL全文检索的介绍请见官方手册） 对于全文索引，MySQL会从 ft_stopword_file 变量指定的文件中读取不进行全文索引的过滤词表, 一行一个。若将该变量设置为空字符串(”)则禁用过滤词表。 此变量默认为built-in，即MySQL使用自建默认过滤词表，查看MySQL4到MySQL6的源码，不同版本的默认词表是一样的，共545个.
Mysql查询优化器浅析（下）
这篇文章介绍了MySQL查询优化器的部分内容。
Mysql查询优化器浅析（上）
这篇文章介绍了MySQL查询优化器的部分内容。
ASM的争论
今天下午部门里的几个达人针对ASM发生了激烈的争论，其实观点上大同小异，只是表达上理解的有点偏差ASM实例其实就是一个LVM，负责对OS一级磁盘的管理，这里把磁盘说成lun更准确点，因为磁盘容易让人理解为最底层的存储上的铁疙瘩，而ASM只会认识LUN，至于这个LUN下面由多少个小盘组成，怎么做stripe是不关心的，在这点上几位大牛的观点是一致的，但还是吵了半天ASM完成的是一个翻译工作，他本身并不负责到LUN上获取数据来返回给ora...
关于磁盘的一些知识点
最近在拜读张冬瓜的存储大作,收获还是很多的,这本书对于一些底层的技术细节阐述的比较细致,作者的思维,处理问题的方式也是活跃且严谨,建议大家有时间可以看看,我梳理了些关于磁盘的概念,贴出来 1.磁盘组成,扇区,磁道,柱面磁盘由若干盘片组成,在盘片上分布了很多细小的磁粒,每个小颗粒有自己的南北极,当磁头进行感应的时候,通过磁极就变成了电路上的1010信号,这样就达到了记录最原始的2进制信息的目的,在一个盘片上,盘片被划为很多...
看看各个网站的404错误处理
今天看到一则新闻，“亚马逊的CEO Jeff Bezos则更有创意,数年前他也许是认为自己的404错误页面的“发明创造”足够优秀,于是向专利局递交了404页面的专利,这一专利包括当一个用户出现404错误时显示替代网页的操作.而如今,这一专利已经生效.”我们知道，发生404错误时默认应该是下面这个画面一个机械的，冷冰冰的画面，毫无美感可言，在越来越注重用户体验的现在，各大网站也在404上动了脑筋改进，下面就先来看看国外的网站。
使用Oracle正则表达式监控应用到数据库的连接情况
Author:NinGoo posted on NinGoo.net Oracle从10g开始支持正则表达式，在一些特殊的应用场景下，可以发挥超乎想象的便利。通过v$session，可以监控应用服务器到数据库的连接的情况。假设应用服务器的...
Innodb分表太多或者表分区太多，会导致内存耗尽而宕机
因为线上某个应用表分区太多，直接导致遍历表或者dump数据的时候导致内存耗尽死机。原因是Innodb的数据字典不会释放内存，会将所有表和分区的信息记录在内存当中，当表数量或者分区数到达一定数量之后(经验值:约10万张表或者10万个表分区，占用将近1G大小的内存)，会导致内存耗尽。 my.cnf 配置参数: innodb_additional_mem_pool_size 查看数据字典使用多少内存: SHOW engine innodb STATUS\\G Dictionary memory allocated xxxxxx...
数据不算大，备份却非常慢
问题环境硬件：DELL 1950, 146G SAS 15K RPMS * 2, 8G Ram软件：2.6.9-55.ELsmp x86_64, mysql 5.1.x现象2个库，其中1个业务库下有20多个表，表文件大小总量不到2G。另一个为日志库，下400多个表，大致是每天会产生5个表，其中有一个表较大，约400MB，总量约40多GB。每次备份耗时较长，最严重的一次花了5个多小时才完成。业务库为当前活动库，日志库则主要用作备份，每天日志归档，过期数据表很少有读写请求。InnoDB Buffer Pool总...
linux下搭建pxe自动化安装环境
linux下搭建pxe自动化安装环境目录：1. 前言 2. 配置dhcpd 3. 配置tftpd4. 配置httpd5. 测试1. 前言现在企业采购的很多计算机都是没光驱的，怎么安装系统呢？另外，如何能快速大规模安装服务器操作系统呢，有什么好办法吗？答案是有的，那就是本文要说的：PXE。整个安装的过程是这样的：PXE网卡启动 => DHCP获得IP地址 => 从TFTP上下载 pxelinux.0、vmlinuz、initr.img 等 => 引导系统进入安装步骤 => 通过PEX linu...
如何监控HP服务器硬件状态
利用HP官方提供的hpasm工具包即可检测到服务器的硬件相关状态，起到监控预警作用。hpasm工具包中，有个工具是hpasmcli，用法如下...
利用OpenIPMI监控服务器温度
通过ipmitool命令行查看系统温度.
show engine innodb status显示信息不全?
问题：执行 show engine innodb status\\G 时，显示的信息不全，DEADLOCK相关信息太多，后面的都没了原因：这是mysql客户端的一个bug：BUG#19825，交互式客户端限制了输出信息最大为 64KB，因此更多的信息无法显示。解决办法：解决方法有两种：1. 启用 innodb_status_file修改 my.cnf，增加类似下面一行innodb_status_file = 1就可以了。2. 启用 innodb_monitormysqld在线运行时，创建 innodb_monitor 表，即可记录相关信息到日志...
无需过分关注Created_tmp_disk_tables
通常地，我们习惯以 Created_tmp_tables/(Created_tmp_disk_tables + Created_tmp_tables) 或者已各自的一个时段内的差额计算，来判断基于内存的临时表利用率。所以，我们会比较关注 Created_tmp_disk_tables 是否过多，从而认定当前服务器运行状况的优劣。而事实上，我们并没有必要太过分的关注 Created_tmp_disk_tables，因为通过上面的公式，并不能真正反映到mysql里临时表的利用率。
dell 2950 raid阵列冷迁移方法
假设2个服务器：A (故障)B (正常)现在需要从 A => B1. 关闭 A 和 B 服务器2. 将 B 上的所有磁盘按顺序拔出，记录位置3. 启动 B 服务器，进入 raid 配置界面，之前需要按 C 再按 Y 以进入4. 进入 B 服务器的 raid 配置界面，清空 raid 配置信息 (reset config)5. 将 A 上的所有磁盘按顺序拔出，记录位置，并且按这个位置插入到 B 中6. 启动 B，进入 raid 配置界面，导入 raid 配置信息 (import config)7. 重启 B，检查是否能正常...
MySQL优化 之 Discuz论坛优化
很早以前写过一个文章，是关于discuz论坛的优化：MySQL优化 之 Discuz论坛优化。写的时候是2006年，没想到过了这么久，discuz论坛的问题还是困扰着很多网友，其实从各论坛里看到的问题总结出来，很关键的一点都是因为没有将数据表引擎转成InnoDB导致的，discuz在并发稍微高一点的环境下就表现的非常糟糕，产生大量的锁等待，这时候如果把数据表引擎改成InnoDB的话，我相信会好很多。这次就写个扫盲贴吧。
杜拉拉升职记摘录：早日实现退休理想--你需要眼光和资格
机上遇到一男人，操背景口音，三十二三，婚否不详，一、容貌体面。 优势：技术好，聪明，没坏心，乐观 劣势：有点懒，自傲，责任心与意志力指数一般 其所谓“恰当的活法”，即早日退休。自称懒得跳槽，却没遇到猎头怂恿，对好职位的标准心生疑惑。 要早点退休，没有办法，除非早日获得财务自由。说来说去，还是个钱字。获得钱的路子很多，要合法的多赚钱，谋个好职位、打份好工是条路子。 怎么才能谋个好职位呢?首...