搜索引擎爬虫蜘蛛的USERAGENT收集
百度爬虫
* Baiduspider+(+http://www.baidu.com/search/spider.htm”)
google爬虫
* Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
* Googlebot/2.1 (+http://www.googlebot.com/bot.html)
* Googlebot/2.1 (+http://www.google.com/bot.html)
雅虎爬虫(分别是雅虎中国和美国总部的爬虫)
*Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html”)
*Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp”)
新浪爱问爬虫
*iaskspider/2.0(+http://iask.com/help/help_index.html”)
*Mozilla/5.0 (compatible; iaskspider/1.0; MSIE 6.0)
搜狗爬虫
*Sogou web spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07″)
*Sogou Push Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07″)
网易爬虫
*Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/”; )
MSN爬虫
*msnbot/1.0 (+http://search.msn.com/msnbot.htm”)
建议继续学习:
- 怎样用好Google进行搜索 (阅读:14400)
- 淘宝搜索:定向抓取网页技术漫谈 (阅读:8041)
- 简析搜索引擎中网络爬虫的搜索策略 (阅读:5672)
- 几种常见的基于Lucene的开源搜索解决方案对比 (阅读:4492)
- 用Sphinx快速搭建站内搜索功能 (阅读:4259)
- 基于用户行为分析的搜索引擎自动性能评价 (阅读:4124)
- 互联网网站的反爬虫策略浅析 (阅读:4009)
- 附近地点搜索初探 (阅读:4007)
- Xapian搜索体系结构 (阅读:3883)
- 百度搜索URL参数解析 (阅读:3879)
扫一扫订阅我的微信号:IT技术博客大学习
- 作者:kekehu 来源: 这一技客
- 标签: 搜索 蜘蛛
- 发布时间:2010-01-15 14:47:25
- [137] Go Reflect 性能
- [18] 公钥私钥加密解密数字证书数字签名详解
- [17] 基于HTTP缓存轻松实现客户端应用的离线支持
- [16] osx平台上lol英雄联盟launcher启
- [14] 我的git笔记
- [14] Joomla反序列化漏洞的查漏补缺
- [13] 在JavaScript中什么时候使用==是正
- [12] Linux内存中的Cache真的能被回收么?
- [12] SSL多域名绑定证书的解决方案
- [11] 正态分布的前世今生(一)