防采集系统的设计
浏览:2519次 出处信息
网络上越来越多的站长在使用采集系统进行网站采集。如何应对这样的采集成为一个很棘手的问题。先前写过一篇怎样防止网站被采集的的文章,但是中间提到的方法感觉不是非常的适用。
正常的搜索引擎抓取页面可以使用robots.txt来进行屏蔽,比如万恶的雅虎,流量和不带过来,确是爬的最勤快的,大量的暂用服务器资源。
防采集主要防止的是那些除搜索引擎外的抓取行为,即除搜索引擎外的非人为访问。防止采集的主要原因有:
防止采集最大的难点是如何才能精确打击,即不影响搜索引擎采集的情况下,把那些“小偷”屏蔽掉。通常采用以下两种方式进行组合过滤
接下来就是整体系统的设计了:
建议继续学习:
- anti spam杂谈 (阅读:4867)
- 定向抓取漫谈 (阅读:4371)
- php实现百度音乐采集下载 (阅读:4127)
- cURL基础教程 (阅读:3853)
- PHP采集类:Snoopy.class.php (阅读:3072)
- 变量引用可提供执行速度 (阅读:2881)
- oracle数据库的CPU/IO信息采集 (阅读:2567)
- MySQL server has gone away解决办法 (阅读:1824)
QQ技术交流群:445447336,欢迎加入!
扫一扫订阅我的微信号:IT技术博客大学习
扫一扫订阅我的微信号:IT技术博客大学习
<< 前一篇:从开放平台建设者角度对应用开发者的一点架构建议(1)
后一篇:一淘网的系统架构 >>
文章信息
- 作者:标点符 来源: 标点符
- 标签: 反垃圾 采集
- 发布时间:2011-07-09 22:33:08
建议继续学习
近3天十大热文
- [670] WEB系统需要关注的一些点
- [594] 如何拿下简短的域名
- [18] 移动音乐产品梳理
- [18] 基于SSD的数据库性能优化
- [17] 新手产品经理都混哪里
- [17] iOS和Android设计规范备忘表
- [17] 产品经理的取舍之道与抽象能力
- [16] Perl 的线程中的共享
- [15] 豆瓣是啥?
- [14] 为什么工程师会造出蹩脚的产品