搜索引擎spider整理
阅读: 104 评论: 0 作者: rethink 发表于 2009-11-09 17:07 原文链接
百度
百度的spider的user agent都会包含 Baiduspider 字符串。
相关资料:http://www.baidu.com/search/spider.htm
google的spider的user agent都会包含 Googlebot 字符串。
相关资料:http://www.google.com/bot.html
soso
soso的spider的user agent都会包含 Sosospider 字符串
相关资料:http://help.soso.com/webspider.htm
sogou
sogou的spider的user agent都会包含 Sogou web spider 字符串
相关资料:http://www.sogou.com/docs/help/webmasters.htm#07
其他的也都差不多。。。可以自行查看下网站的access log。
如何通过php程序控制 spider 的行为?
通过 $_SERVER["HTTP_USER_AGENT"] 获取来访者的 user agent,然后判断是否含有相应的搜索引擎spider的特定字符串,再采取后续动作就可以了。
$user_agent = $_SERVER["HTTP_USER_AGENT"];
if ( eregi("Googlebot",$user_agent) )
{
// is google\'s spider access, you can do something for it~
}
?>
扫一扫订阅我的微信号:IT技术博客大学习
- 作者:rethink 来源: 博客园-rethink log
- 标签: spider
- 发布时间:2009-11-18 13:42:01
- [11] 产品设计之QQ邮箱登录页与淘宝登录页
- [10] 逃出你的肖申克(五):看不见的牢笼(上)
- [9] 分布式系统的事务处理
- [9] 五个实用的Google Analytics过
- [9] Python连接 MySQL 数据库的超时问
- [8] 浅述各平台系统交互设计的不同关注点
- [8] 数据与理论结合,让交互设计更专业
- [8] 招聘的绑架
- [8] 移动Web开发初学者指南
- [8] 关于不得不在python中使用代理访问网络的