技术头条 - 一个快速在微博传播文章的方式     搜索本站
您现在的位置首页 --> 其他 --> 搜索引擎spider整理

搜索引擎spider整理

浏览:1377次  出处信息

      阅读: 104 评论: 0 作者: rethink 发表于 2009-11-09 17:07 原文链接

    百度

    百度的spider的user agent都会包含 Baiduspider 字符串。

    相关资料:http://www.baidu.com/search/spider.htm

    google

    google的spider的user agent都会包含  Googlebot 字符串。

    相关资料:http://www.google.com/bot.html

    soso

    soso的spider的user agent都会包含 Sosospider 字符串

    相关资料:http://help.soso.com/webspider.htm 

sogou

sogou的spider的user agent都会包含 Sogou web spider 字符串

    相关资料:http://www.sogou.com/docs/help/webmasters.htm#07

    其他的也都差不多。。。可以自行查看下网站的access log。

    如何通过php程序控制 spider 的行为?

    通过 $_SERVER["HTTP_USER_AGENT"] 获取来访者的 user agent,然后判断是否含有相应的搜索引擎spider的特定字符串,再采取后续动作就可以了。

    $user_agent = $_SERVER["HTTP_USER_AGENT"];

    if ( eregi("Googlebot",$user_agent) )

    {

     // is google\'s spider access, you can do something for it~

    }

    ?> 

QQ技术交流群:445447336,欢迎加入!
扫一扫订阅我的微信号:IT技术博客大学习
后一篇:perl的调试 >>
© 2009 - 2024 by blogread.cn 微博:@IT技术博客大学习

京ICP备15002552号-1