搜索引擎spider整理
百度的spider的user agent都会包含Baiduspider 字符串。相关资料：http://www.baidu.com/search/spider.htmgooglegoogle的spider的user agent都会包含 Googlebot 字符串。相关资料：http://www.google.com/bot.htmlsosososo的spider的user agent都会包含Sosospider 字符串相关资料：http://help.soso.com/webspider.htmsogousogou的spider的user agent都...