百度网站抓取异常的原因有哪些 有什么影响和处理方法
发布时间：2022-07-24 15:32:12 所属栏目：经验 来源：互联网
导读：前言： 这是白杨SEO公众号原创第 220 篇。经常有朋友在我的SEO付费交流群或者私下说，网站收录怎么又下降了，百度好像抓取出问题了，原因是什么怎么办，所以今天就来分享下哈。 大纲如下： 1、抓取异常是什么？百度抓取异常又是什么？ 2、百度抓取异常的原因
|
前言： 这是白杨SEO公众号原创第 220 篇。经常有朋友在我的SEO付费交流群或者私下说，网站收录怎么又下降了，百度好像抓取出问题了，原因是什么怎么办，所以今天就来分享下哈。 大纲如下： 1、抓取异常是什么？百度抓取异常又是什么？ 2、百度抓取异常的原因有哪些？ 3、网站抓取异常的原因有哪些？ 4、百度抓取异常对网站有什么影响？ 5、网站出现抓取异常的解决方法 抓取异常是什么？百度抓取异常又是什么？ 网站异常原因： 1、dns异常 当百度蜘蛛（Baiduspider）无法解析您网站的IP时，会出现DNS异常。可能是您的 网站IP地址错误 ，或者 域名服务商把Baiduspider封禁了 。 可以用WHOIS或者host查询自己网站IP地址是否正确而且可以解析，如果不正确或无法解析，与域名注册商联系，更新网站IP地址。 2、连接超时 抓取请求连接超时，可能原因是： 服务器过载 或 网络不稳定。 3、抓取超时 抓取请求连接建立后，下载页面速度 过慢 ，导致超时。可能原因服务器过载， 带宽不足 。 4、连接错误 无法连接或者连接建立后对方服务器拒绝。 链接异常原因： 1、访问被拒绝 爬虫发起抓取，httpcode返回码是403。 2、找不到页面 爬虫发起抓取，httpcode返回码是404。 3、服务器错误 爬虫发起抓取，httpcode返回码是5XX 网站抓取异常的原因有哪些？ 网站抓取异常的原因主要有以下五个方面： 1、服务器异常 服务器连接异常最大的可能是网站服务器过大，超负荷运转，通过检查浏览器输入你的域名是否正常访问。服务器异常会导致蜘蛛无法连接网站服务器，导致出现抓取失败。 2、域名过期 域名过期网站肯定不能访问，域名解析就会失效了。如果存在这类情况，你可以与你域名注册商联系解决，看是否被抢注，还是可以续费回来。 3、网络运营商异常 电信和联通这两种都是属于网络运营商，蜘蛛无法访问的网站。 如果是因为电信或联通网络运营商出现问题，与网络服务运营商联系或者购买CDN服务。 3、robots.txt文件设置问题 robots.txt的功效主要是一些不重要的文件屏蔽掉告诉搜索引擎这些些页面可以不抓取，但也可能会存在把重要的页面也给屏蔽了，可以检查下robots文件设置。 关于ROBOTS.TXT，可以看我之前写的这篇里面有写到： 白杨SEO：新人学习SEO常遇到的15个SEO术语，建议收藏 百度抓取异常对网站有什么影响？ 如果网站上存在大量内容蜘蛛无法正常抓取，百度搜索引擎会认为网站给用户的体验上有缺陷（ 访问网站的用户没有得到想要的东西，用户的体验感就会下降 ）降低对网站的评价。 而且，网站在 抓取、索引、权重 上都会受到一定程度的负面影响，更严重的会直接影响到网站从百度获取的流量。 所以，百度网站抓取异常是非常严重的，一旦发现，尽量解决。 （编辑：应用网_丽江站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
浙公网安备 33038102330468号