很多社区论坛或者博客在初期上线时候会遇到没有内容的尴尬，索性他们就会去把别人的优质的内容整理放到自己的平台上，这个时候就会请技术人员写采集程序程序来完成这件事情，以前我在一家公司做产品，同事说做一个可以换点米，所以就写了好几个，后来没有了消息，想程序放着也放着，不如拿出来分享，下载地址：sina blog 采集程序   ，这是借用专业采集类snoopy写的，因为很多博客会禁止采集，所以用snoopy伪装客户端很方便。

数据采集过来要交给编辑去整理发布，采集这么多的数据如何做好分类就是一件很有意义的事情了，编辑可以用这些内容分类汇总，把没有价值的内容去掉，所以数据仅仅采集过来是不够的，接下来就会涉及到数据的分类汇总，对内容进行过滤识别。最近我也一直在做这方面的开发，会在下篇文章重点介绍这方面的内容。

建议继续学习：

1. 用Hyer来进行网站的抓取    (阅读：157291)
2. 抓取网页内容生成Kindle电子书    (阅读：8554)
3. 淘宝搜索：定向抓取网页技术漫谈    (阅读：8377)
4. Python抓取框架：Scrapy的架构    (阅读：7819)
5. 快速构建实时抓取集群    (阅读：4426)
6. cURL基础教程    (阅读：3975)