不抓取如何会收录，又怎么有排名?然而就这样一个明显的问题，却有大量的网站将其忽略掉。在A5这里做SEO诊断服务的客户中，其中“20%”的网站都会存在抓取错误，直接严重影响到网站的成长效果。今天这篇文章，如果你有幸看到，希望可以阅读完今天这篇文章，并分享出去，因为真的会很有价值。

贺贵江：曾经诊断过一个千万级别收录的站点，但是索引总是被反复的剔除，又反复的收录，企业一直找不到问题。可是当我们对网站检查之初就发现一个怪的现象了：

1、错误的封禁

在百度的robots.txt的更新上，如果多次点击“检测并更新”就会出现时常可以更新，但是又时常无法更新的问题。如此一来：不应当被收录的东西，在robots.txt上禁止的被收录了，又删除就很正常了。那么它的问题是什么呢?并非服务器负载过度，而是因为防火墙错误的将部分Baiduspider列入了黑名单。

上面这个例子是robots.txt方面的抓取错误，作为站长最少应该每周都检查更新一下robots.txt是否可以正常更新。之后我们再看下“页面抓取”方面的错误：

2、服务器异常

常规的服务器就不说啦，大家都知道的，北上广的一般都不错。不过有一些特殊服务器，想必绝大多数的站长都不知道吧?例如西部数码的“港台服务器”就很有趣，真的是港台的吗?本身机房在国内，还算什么港台?为了逃避备案而用一个港台的IP，数据全部在国内。

这怎么了？我们会发现该站点的服务器通过CDN，甚至您上传的图片也会显示为&ldquo；302状态代码&rdquo；，访问速度有所提高，但这有利于SEO吗？哈哈。我真的不知道，作为中国的大型IDC服务提供商，西方数学是如何思考和利用这些无知的？

3、获取不到真实IP

大型网站通常使用CDN加速，但有些网站不仅适用于&ldquo；设备&rdquo；使用CDN加速功能，spider也使用加速功能。最终的结果是什么？如果CDN节点不稳定，这个问题对网站爬行器来说是致命的。

许多大型网站开放CDN的原因是它们很容易受到攻击。如果你不这么做&ldquo；蜘蛛回到源头&rdquo；你可以想象。你的网站做过CDN吗？请登录百度站长平台，查看蜘蛛是否能捕捉到真实的IP地址！

4.经常出现50倍的课堂错误

这样的链接其中一个共同的特点是：当打开后，全部都是正常的，那么Spider为什么会报错提醒呢?只是因为在爬虫发起抓取的那一刻，httpcode返回了5XX"，你的站点是否频繁有这样的问题呢?有的话需要立即安排技术，或者通报IDC服务商做解决了!

5、错误的抓取比例

没有一个网站可以做到100%没有问题，但每件事都有一个程度：我们认为这个比例不超过5%，这基本上对网站没有影响，这样的错误不应该每天出现。最常见的爬网错误通常是连接超时：“在爬网请求连接建立后，下载页面速度太慢，导致超时，这可能是由于服务器过载和带宽不足。”

A：尽量在不影响图片质量的情况下，对图片进行压缩，上传的时候就进行了压缩。

减少JS脚本文件类型的使用，或者合并它们

C：页面大小进行控制，尤其是一些浏览量、抓取量较高的页面，不建议超过2MB。

D：增加网站的带宽，提升下载速度，或者更换服务器。

今天这篇分享，是否对你有帮助呢?希望能对大家有所帮助！