搜索引擎爬虫蜘蛛的USERAGENT收集
百度爬虫
* Baiduspider+(+http://www.baidu.com/search/spider.htm”)
google爬虫
* Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
* Googlebot/2.1 (+http://www.googlebot.com/bot.html)
* Googlebot/2.1 (+http://www.google.com/bot.html)
雅虎爬虫(分别是雅虎中国和美国总部的爬虫)
*Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html”)
*Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp”)
新浪爱问爬虫
*iaskspider/2.0(+http://iask.com/help/help_index.html”)
*Mozilla/5.0 (compatible; iaskspider/1.0; MSIE 6.0)
搜狗爬虫
*Sogou web spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07″)
*Sogou Push Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07″)
网易爬虫
*Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/”; )
MSN爬虫
*msnbot/1.0 (+http://search.msn.com/msnbot.htm”)
建议继续学习:
- 怎样用好Google进行搜索 (阅读:14631)
- 淘宝搜索:定向抓取网页技术漫谈 (阅读:8190)
- 简析搜索引擎中网络爬虫的搜索策略 (阅读:5966)
- 几种常见的基于Lucene的开源搜索解决方案对比 (阅读:4623)
- 用Sphinx快速搭建站内搜索功能 (阅读:4401)
- 基于用户行为分析的搜索引擎自动性能评价 (阅读:4326)
- 互联网网站的反爬虫策略浅析 (阅读:4119)
- 附近地点搜索初探 (阅读:4112)
- Xapian搜索体系结构 (阅读:4006)
- 百度搜索URL参数解析 (阅读:4036)
扫一扫订阅我的微信号:IT技术博客大学习
- 作者:kekehu 来源: 这一技客
- 标签: 搜索 蜘蛛
- 发布时间:2010-01-15 14:47:25
- [66] Oracle MTS模式下 进程地址与会话信
- [65] Go Reflect 性能
- [64] 如何拿下简短的域名
- [59] 图书馆的世界纪录
- [59] 【社会化设计】自我(self)部分――欢迎区
- [58] android 开发入门
- [58] IOS安全–浅谈关于IOS加固的几种方法
- [52] 视觉调整-设计师 vs. 逻辑
- [47] 读书笔记-壹百度:百度十年千倍的29条法则
- [47] 界面设计速成