搜索引擎爬虫蜘蛛的USERAGENT收集
百度爬虫
* Baiduspider+(+http://www.baidu.com/search/spider.htm”)
google爬虫
* Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
* Googlebot/2.1 (+http://www.googlebot.com/bot.html)
* Googlebot/2.1 (+http://www.google.com/bot.html)
雅虎爬虫(分别是雅虎中国和美国总部的爬虫)
*Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html”)
*Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp”)
新浪爱问爬虫
*iaskspider/2.0(+http://iask.com/help/help_index.html”)
*Mozilla/5.0 (compatible; iaskspider/1.0; MSIE 6.0)
搜狗爬虫
*Sogou web spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07″)
*Sogou Push Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07″)
网易爬虫
*Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/”; )
MSN爬虫
*msnbot/1.0 (+http://search.msn.com/msnbot.htm”)
建议继续学习:
- 怎样用好Google进行搜索 (阅读:14633)
- 淘宝搜索:定向抓取网页技术漫谈 (阅读:8191)
- 简析搜索引擎中网络爬虫的搜索策略 (阅读:5967)
- 几种常见的基于Lucene的开源搜索解决方案对比 (阅读:4624)
- 用Sphinx快速搭建站内搜索功能 (阅读:4402)
- 基于用户行为分析的搜索引擎自动性能评价 (阅读:4327)
- 互联网网站的反爬虫策略浅析 (阅读:4121)
- 附近地点搜索初探 (阅读:4113)
- Xapian搜索体系结构 (阅读:4007)
- 百度搜索URL参数解析 (阅读:4038)
扫一扫订阅我的微信号:IT技术博客大学习
- 作者:kekehu 来源: 这一技客
- 标签: 搜索 蜘蛛
- 发布时间:2010-01-15 14:47:25
- [67] Go Reflect 性能
- [66] Oracle MTS模式下 进程地址与会话信
- [63] 如何拿下简短的域名
- [61] android 开发入门
- [60] 【社会化设计】自我(self)部分――欢迎区
- [59] IOS安全–浅谈关于IOS加固的几种方法
- [59] 图书馆的世界纪录
- [54] 视觉调整-设计师 vs. 逻辑
- [49] 读书笔记-壹百度:百度十年千倍的29条法则
- [48] 界面设计速成