IT技术博客大学习 共学习 共进步
全部 移动开发 后端 数据库 AI 算法 安全 DevOps 前端 设计 开发者

Google 网页爬虫报告无法连接站点解决办法

忘我的追寻 2014-11-19 23:20:32 累计浏览 2,208 次
本机暂存

   几次收到Google站长工具发来的Googlebot无法访问shentar.me的邮件,感觉很奇怪,空间是托管在香港的,不可能出现Google无法连接的问题。

   2014-07-19-23-02-16-1

   在网上搜索了一下,也早有同学报告类似问题,咨询了主机空间提供商,说是域名解析的问题。的确是用的国内的某大型知名免费域名解析服务提供商的免费服务。用了快3个月了,之前一直好好的,突然就开始设卡了,估计是希望我去买他们的付费服务。即使没有国外的DC,也不用全天都不让Google访问啊。只好再找另外一家类似的服务了,马上修改。

   测试了一下,是比原来那家慢了很多,但是应该不会再出现无法抓取的问题。

   只保留了news.shentar.me的域名在原来的DNS服务商那里。

   到GoDaddy修改域名托管服务器时,想了一下,何不两家的解析服务都用呢,于是将托管服务器注册为了两家的,将两家的第一域名解析服务器分别作为本站的第一和第二域名解析服务器。这样在解析速度和Google建立连接上面有一个权衡,大功告成。dig +trace验证,果然是交叉的,有时是从第一家返回的,有时是从第二家返回的。

   ns1

   ns2

   Google无法连接其中的一家,自然会去连备用的。不至于全天都无法连接而删除索引了。虽然域名服务商告诫不要混合使用,但是感觉并没有什么不妥。

同分类推荐文章

  1. 等了十年的 Go 链式管道,终于来了:seq 让你像写 Scala 一样写 Go (2026-06-25 18:38:18)
  2. Go 实验特性详解 (2026-06-21 10:05:27)
  3. amd64 微架构级别对 Go 程序性能提升多少? (2026-06-21 09:38:49)

查看更多 后端 文章 →

建议继续学习

  1. 如何高效使用搜索引擎 (累计阅读 36,792)
  2. Hello! 404 (累计阅读 9,385)
  3. 让安卓手机通过代理翻墙的方法 (累计阅读 9,116)
  4. 豆瓣的Url结构方式一览 (累计阅读 7,939)
  5. .htaccess是什么? (累计阅读 7,308)
  6. dig挖出DNS的秘密 (累计阅读 5,799)
  7. php的echo为什么这么慢 (累计阅读 5,376)
  8. 网络丢包率如何解决 (累计阅读 5,138)
  9. SEO:wordpress页面标记优化 (累计阅读 4,736)
  10. GA SEO报告中的Not Provided和Not Set (累计阅读 4,409)