防采集系统的设计
浏览:2520次 出处信息
网络上越来越多的站长在使用采集系统进行网站采集。如何应对这样的采集成为一个很棘手的问题。先前写过一篇怎样防止网站被采集的的文章,但是中间提到的方法感觉不是非常的适用。
正常的搜索引擎抓取页面可以使用robots.txt来进行屏蔽,比如万恶的雅虎,流量和不带过来,确是爬的最勤快的,大量的暂用服务器资源。
防采集主要防止的是那些除搜索引擎外的抓取行为,即除搜索引擎外的非人为访问。防止采集的主要原因有:
防止采集最大的难点是如何才能精确打击,即不影响搜索引擎采集的情况下,把那些“小偷”屏蔽掉。通常采用以下两种方式进行组合过滤
接下来就是整体系统的设计了:
建议继续学习:
- anti spam杂谈 (阅读:4868)
- 定向抓取漫谈 (阅读:4373)
- php实现百度音乐采集下载 (阅读:4129)
- cURL基础教程 (阅读:3855)
- PHP采集类:Snoopy.class.php (阅读:3073)
- 变量引用可提供执行速度 (阅读:2884)
- oracle数据库的CPU/IO信息采集 (阅读:2568)
- MySQL server has gone away解决办法 (阅读:1824)
QQ技术交流群:445447336,欢迎加入!
扫一扫订阅我的微信号:IT技术博客大学习
扫一扫订阅我的微信号:IT技术博客大学习
<< 前一篇:从开放平台建设者角度对应用开发者的一点架构建议(1)
后一篇:一淘网的系统架构 >>
文章信息
- 作者:标点符 来源: 标点符
- 标签: 反垃圾 采集
- 发布时间:2011-07-09 22:33:08
建议继续学习
近3天十大热文
- [569] WEB系统需要关注的一些点
- [568] 如何拿下简短的域名
- [15] 什么是DNS劫持和DNS污染?
- [12] Zookeeper工作原理
- [11] 使用DNSPOD的API实现动态域名
- [11] Mysql监控指南
- [11] 基于SSD的数据库性能优化
- [11] 一致性哈希算法及其在分布式系统中的应用
- [11] Python中的闭包
- [10] 大并发下的高性能编程 – 改进的(用户态)自