在这些年的搜索引擎优化诊断中，我发现不少于20%的网站有严重的爬行问题，但奇怪的是，大多数人从来没有注意到它。那些彻底研究并分享这个问题的人没有发现它。在今天的文章中，我们将研究这个问题。

有什么问题吗？

连接超时，或抓取超时。如果这个问题出现在你的网站上，到目前为止还没有得到妥善处理，请转载这篇文章。

许多人说，这不就是几十次暂停吗？有什么大不了的？如果你这样认为，你真的应该得到这个坏网站。一个普通的网站是什么样的？让我们举个例子：

这是一个权重为4的站点。即使它被爬行超过100，000次，也不会有一次爬行错误！如果您每天的爬行错误超过10次(每十天半月或连续几天出现一次错误)，您应该认真处理这个问题，因为现有的问题已经长期限制了网站的发展上限，甚至这个问题导致网站权限的降低也不足为奇。

为什么会出错？

有些人说，不要担心，这是一个BUG，因为我没有在网站日志中发现这个问题。之前，在百度站长的VIP群中，有人这样解释过。但是我想说的是：百度不能抓取网站。你能在你的网站日志中计算这样的错误吗？因此，上述解释是完全不合理的。

那么，为什么会有这样的错误呢？

一、域名系统问题，无论是蜘蛛还是用户访问网站，域名系统首先需要正确解决，但解决的办法是解决。你能确定域名系统真的很稳定吗？许多站点错误是由不稳定的域名系统引起的。尤其是那些做域名注册和“域名抢注”的平台，这些平台更容易出现不稳定的域名解析，尤其是在域名抢注的高峰期。对于特定品牌，这将不会被命名。如果你的域名在这些平台上，何桂江强烈建议你把它转让出去。

b，这一页太大了。一些网站已经达到45678万亿页，甚至很少有网站看到10MB大小的页面。这种页面更容易出现链接超时。通常，不建议网站的页面大小超过3MB，建议网站服务器启用GZIP压缩。

带宽不足，这是非常常见的情况。由于带宽不足，许多站点都有链接超时。我们知道1M的峰值下载带宽是128KB。如果网站被1M访问，页面大小为256KB。如果两个人同时打开页面，将需要4秒钟来完成下载。如果