Mysql query error : | SQL : set names utf8Mysql query error 1062 : Duplicate entry '1743388248-980' for key 'PRIMARY' | SQL : insert into `blogread_browse` (`timeint`, `idarticle`, `idcate`, `query`, `ip`, `referer`, `ua`) values (unix_timestamp(), 980, 8, '/it/article/980?f=catetitle', '18.190.158.76', '', 'Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)') 搜索引擎爬虫蜘蛛的USERAGENT收集 -- 其他 -- IT技术博客大学习 -- 共学习 共进步！
    技术头条 - 一个快速在微博传播文章的方式     
您现在的位置：首页 --> 其他 --> 搜索引擎爬虫蜘蛛的USERAGENT收集

搜索引擎爬虫蜘蛛的USERAGENT收集

浏览:2820次  出处信息

百度爬虫
    * Baiduspider+(+http://www.baidu.com/search/spider.htm”)

google爬虫
    * Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
    * Googlebot/2.1 (+http://www.googlebot.com/bot.html)
    * Googlebot/2.1 (+http://www.google.com/bot.html)

雅虎爬虫（分别是雅虎中国和美国总部的爬虫）
    *Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html”)
    *Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp”)

新浪爱问爬虫
    *iaskspider/2.0(+http://iask.com/help/help_index.html”)
    *Mozilla/5.0 (compatible; iaskspider/1.0; MSIE 6.0)

搜狗爬虫
    *Sogou web spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07″)
    *Sogou Push Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07″)

网易爬虫
    *Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/”; )

MSN爬虫
    *msnbot/1.0 (+http://search.msn.com/msnbot.htm”)

建议继续学习：

  1. 怎样用好Google进行搜索    (阅读：14924)
  2. 淘宝搜索：定向抓取网页技术漫谈    (阅读：8374)
  3. 简析搜索引擎中网络爬虫的搜索策略    (阅读：6141)
  4. 几种常见的基于Lucene的开源搜索解决方案对比    (阅读：4788)
  5. 用Sphinx快速搭建站内搜索功能    (阅读：4552)
  6. 基于用户行为分析的搜索引擎自动性能评价    (阅读：4582)
  7. 互联网网站的反爬虫策略浅析    (阅读：4272)
  8. 附近地点搜索初探    (阅读：4281)
  9. 百度搜索URL参数解析    (阅读：4248)
  10. Xapian搜索体系结构    (阅读：4177)
QQ技术交流群：445447336，欢迎加入！
扫一扫订阅我的微信号：IT技术博客大学习
<< 前一篇：产品设计体会:一个只有七天的项目
后一篇：Python处理MP3的歌词和图片 >>
文章信息
© 2009 - 2025 by blogread.cn 微博：@IT技术博客大学习

京ICP备15002552号-1