防采集系统的设计
浏览:2554次 出处信息
网络上越来越多的站长在使用采集系统进行网站采集。如何应对这样的采集成为一个很棘手的问题。先前写过一篇怎样防止网站被采集的的文章,但是中间提到的方法感觉不是非常的适用。
正常的搜索引擎抓取页面可以使用robots.txt来进行屏蔽,比如万恶的雅虎,流量和不带过来,确是爬的最勤快的,大量的暂用服务器资源。
防采集主要防止的是那些除搜索引擎外的抓取行为,即除搜索引擎外的非人为访问。防止采集的主要原因有:
防止采集最大的难点是如何才能精确打击,即不影响搜索引擎采集的情况下,把那些“小偷”屏蔽掉。通常采用以下两种方式进行组合过滤
接下来就是整体系统的设计了:
建议继续学习:
- anti spam杂谈 (阅读:4968)
- 定向抓取漫谈 (阅读:4452)
- php实现百度音乐采集下载 (阅读:4337)
- cURL基础教程 (阅读:3911)
- PHP采集类:Snoopy.class.php (阅读:3122)
- 变量引用可提供执行速度 (阅读:2902)
- oracle数据库的CPU/IO信息采集 (阅读:2739)
- MySQL server has gone away解决办法 (阅读:1850)
QQ技术交流群:445447336,欢迎加入!
扫一扫订阅我的微信号:IT技术博客大学习
扫一扫订阅我的微信号:IT技术博客大学习
<< 前一篇:从开放平台建设者角度对应用开发者的一点架构建议(1)
后一篇:一淘网的系统架构 >>
文章信息
- 作者:标点符 来源: 标点符
- 标签: 反垃圾 采集
- 发布时间:2011-07-09 22:33:08
建议继续学习
近3天十大热文
- [54] IOS安全–浅谈关于IOS加固的几种方法
- [52] android 开发入门
- [52] 如何拿下简短的域名
- [51] 图书馆的世界纪录
- [49] Go Reflect 性能
- [49] Oracle MTS模式下 进程地址与会话信
- [47] 【社会化设计】自我(self)部分――欢迎区
- [46] 读书笔记-壹百度:百度十年千倍的29条法则
- [36] 程序员技术练级攻略
- [29] 视觉调整-设计师 vs. 逻辑