超群.com的博客 -- IT技术博客大学习 -- 共学习共进步！

• 我的SEO搜索引擎优化经验

注意：我不是SEO从业者亦不是搜索引擎排名工程师，我尽量保证提到策略有效且合乎规则的，如有谬误，请略过或指正，我本人不推荐一些所谓的“黑帽”策略，因为能欺骗搜索引擎一时却不能长久，所以做垃圾站的或者想赚快钱的也可以忽略本文，本文的目标是希望和大家一起探讨如何创建一个既对用户又对搜索引擎友好的网站。

• 我为什么选择MongoDB

大概在08年，那时候nosql的概念特别热，最早的那批开源项目好多参考google bigtable来设计，我也关注过其中的几个，比如hypertable，couchdb之类，阅读了一些相关的文档和博文，没有太跟进，那些开源项目的设计scope太大，想解决google都不一定很好解决的问题，事实上国内能真正碰到那种数据规模的人少，很少，极少；迁移的成本也很高，我们的项目大多构建在mysql+memcached上，关系型的操作很多，这种key-value或者类key-value的...

• 使用fastcgi_cache加速你的Nginx网站

很久以前在TW上挖了个坑，说nginx的fastcgi_cache是被大家忽视的一大金矿，今天把这个坑填上，顺祝大家新年快乐。对于变化不太频繁的数据，大家都比较喜欢存Memcached以减少数据库的读取，但还是会有语言解析运行上的消耗（比如运行PHP，Python等），当然这个时间很短，记得OP上有个同学说P字头的语言，效率都不高，如果能省去，当然最好。（已经用上Squid等的可以忽略本文）。还有一个问题就是很多时候一个页面由多个数据片断组...

• Mediawiki扩展编写实战

Wikipedia大家都很熟悉，而Mediawiki则是Wikipedia背后的功臣，整个Wikipedia都构建在mediawiki之上，mediawiki的稳定性和高效性值得信赖，同时Mediawiki非常易于扩展，可以通过Extension的方式添加非常多的功能，而且Mediawiki的Extension社区也非常活跃，大家可以到Mediawiki Extension目录下去下载自己需要的扩展程序。上周末，帮朋友写了一些Mediawiki的扩展，立即被Mediawiki的强大扩展性折服，主要实现的功能有：增加Google...

• 利用Sphinx实现实时全文检索

Sphinx 0.9.9及以前的版本，原生不支持实时索引，一般的做法是通过主索引+增量索引的方式来实现“准实时”索引，最新的1.10.1（trunk中，尚未发布）终于支持real-time index，查看SVN中文档，我们很容易利用Sphinx搭建一个按需索引(on demand index)的全文检索系统。参考文章：http://filiptepper.com/2010/05/27/real-time-indexing-and-searching-with-sphinx-1-10-1-dev.html 首先，从sphinxsearch的SVN下载最新的代码，编译安...

• PHP导出MySQL数据到Excel文件

经常会碰到需要从数据库中导出数据到Excel文件，用一些开源的类库，比如PHPExcel，确实比较容易实现，但对大量数据的支持很不好，很容易到达PHP内存使用上限。这里的方法是利用fputcsv写CSV文件的方法，直接向浏览器输出Excel文件。

• 一种比较省内存的稀疏矩阵Python存储方案

推荐系统中经常需要处理类似user_id, item_id, rating这样的数据，其实就是数学里面的稀疏矩阵，scipy中提供了sparse模块来解决这个问题，但scipy.sparse有很多问题不太合用：1、不能很好的同时支持data[i, ...]、data[..., j]、data[i, j]快速切片；2、由于数据保存在内存中，不能很好的支持海量数据处理。要支持data[i, ...]、data[..., j]的快速切片，需要i或者j的数据集中存储；同时，为了保存海量的数据，也需要把数据的一部...

• 基于关联规则的推荐系统

首先，要了解关联规则的几个概念，定义N为总事物数，N(A)、N(B)分别为项集A、项集B出现的次数，N(AB)为项集A、项集B同时出现的次数，A、B为不相交项集A∩B=O，规则A→B表示由A推到B：支持度（Support）：支持度是一种重要度量，支持度低的规则很可能是偶然现象，对推荐意义不大，另外支持度是数据剪枝的一个重要依据。置信度（Confidence）：置信度，字面上的解释就是这个规则到底有多可信，对于给定的规则A→B，置信度越高...

• Python处理MP3的歌词和图片

一些MP3播放器（包括iphone、ipod、itouch、blackberry等）可以在播放mp3的时候显示专辑图片、歌词等信息而不需要额外的图片文件和歌词文件，仅仅一个mp3文件就搞定，比较有意思。除了用专门的软件（比如itunes）来制作这样的mp3，我们还可以用程序来批量生成。查阅mp3头信息ID3V2的技术文档，发现可以往ID3信息里面加入歌词和图片信息（可以在页面上查找Lyrics、Attached picture就能发现相应的内容）。有了官方格式上的支持，我...

• 音乐智能推荐

周末beta沙龙和大家分享的音乐智能推荐PPT，有些内容和上次的PPT差不多，这次主要和大家分享一个完整的数据挖掘流程，同样的，还是工程方面比较多，学术方面这里有很多大牛。

• 从140秒到2秒的优化

从2亿个0~2,000,000,000之间的数字样本中找出不重复的记录总数，首先想到的是bloom filter，转念一想既然全都是数字，bloom filter有点太重，bitarray也许更有效，于是第一个版本出来，部分代码如下： ba = bitarray(212**4) cnt = 0 for i in data: if (not ba[i]): cnt += 1 ba[i] = True print cnt 大概需要140s左右，觉得if (not ba[i]):这个比较费，改了第二版： for...

• 表单校验

最近有个项目，用到很多的表单校验，尝试了一下jQuery.validator，甚是顺手。

• PHP处理Etag、lastModified和Expires

之前看到robbin基于资源的HTTP Cache的实现介绍，想到这是一个很有意思的功能，原理很简单，但很多人都会忽略，于是乎打算集成到ColaPHP框架中来，让浏览器缓存动态内容，对于一些由动态脚本生成、更新不频繁但又会被用户重复访问的页面内容，还是很有意义的。

• 高效的MySQL分页

PERCONA PERFORMANCE CONFERENCE 2009上，来自雅虎的几位工程师带来了一篇”Efficient Pagination Using MySQL“的报告，有很多亮点，本文是在原文基础上的进一步延伸。

• 海量小文件存储

Web2.0网站，数据内容以几何级数增长，尤其是那些小文件，几K～几百K不等，数量巨多，传统的文件系统处理起来很是吃力，很多网站在scaling的过程中都遇到了这样的问题：磁盘IO过高；备份困难；单点问题，容量和读写无法水平扩展，还存在故障的可能。 YouTube也碰到这样的问题，每一个视频有4个缩微图，这样的话缩微图数量是视频数量的四倍，想象一下YouTube有多少视频，看一下他们遇到的问题：大量的磁盘寻址，在操作系统层面出...

• 根据status信息对MySQL服务器进行优化（二）

续根据status信息对MySQL服务器进行优化（一），直入主题。

• 根据status信息对MySQL服务器进行优化（一）

网上有很多的文章教怎么配置MySQL服务器，但考虑到服务器硬件配置的不同，具体应用的差别，那些文章的做法只能作为初步设置参考，我们需要根据自己的情况进行配置优化，好的做法是MySQL服务器稳定运行了一段时间后运行，根据服务器的”状态”进行优化。 mysql> show global status; 可以列出MySQL服务器运行各种状态值，另外，查询MySQL服务器配置信息语句： mysql> show variables;