发布时间：2022-1-9 分类： 电商动态
我们建立了一个好的网站，然后我们总是不能通过百度站长平台捕捉到诊断。为什么呢？蜘蛛不会爬我们的网站吗？其实这对蜘蛛爬行网站确实有一定的影响。让我们教你如何解决这个问题。
如何解决爬行总是失败的问题！
1.检查robots.txt是否禁止抓取语句
首先要检查robots.txt中是否有禁止爬行的语句，教大家一个简单的方法。首先，您应该删除根目录中的robots.txt，然后执行爬网诊断。如果爬行成功，就证明是robots.txt的问题，大家都需要纠正这个文件。如果爬行仍然失败，请继续阅读。
2.更改DNS解析(一般有效时间为24小时)
因为抓取失败通常表示DNS无法解析Ip，所以每个人都需要切换自己的DNS进行域名解析。建议您切换到DNS进行阿里云解析，这样会很快生效。切换后最好等24小时。在全国范围内生效后，爬行诊断一般可以解决这个问题。
3.网站是否打不开，服务器是否不稳定，防火墙蜘蛛是否被屏蔽
第三点是我们网站自身的问题。有时会卡住，导致蜘蛛爬行不成功。你可以手动测量网站的速度，然后在稳定性好，确认网站可以打开的情况下测试蜘蛛爬行。一般来说，虚拟主机有很多问题。
另外，有些服务器是硬防护的，会自动阻止一些Ip抓取，或者你安装的防护软件会自动屏蔽Ip抓取，因为防护系统会认为这类Ip在攻击你的网站，所以你可以给技术方发一个工作指令，不要关闭你的防火墙，你可以关闭自己的防御软件，测试后就OK了。
4、百度异常，检查日志中是否有蜘蛛爬进来
如果以上方法都尝试过了，但是你的爬行还是失败了，那就不能排除百度本身的问题。你可以通过日志查看每天是否有蜘蛛来。如果有，而且是有规律的、正常的，你可以忽略在百度背景中爬行的蜘蛛
好了，今天就在这里分享吧。大家应该明白，其实百度背景中的蜘蛛爬行并不代表实际的蜘蛛爬行。你可以自己分析网站的蜘蛛日志。当你发现没有蜘蛛的时候，恰好百度站长的后台爬行也是失败的。这时，它就是你的网站。或者是服务器问题。如果我上面提到的所有问题都失败了，你可以考虑让空间供应商给你换个Ip或者服务器试试。这个问题通常可以解决。
文章来源：SEO博客代代相传
源地址：/seoti/460.html
