蜘蛛爬取网站内容但是不收录的原因?蜘蛛爬取页面没有收录是什么情况?
网站优化有段时间了,可是问题是蜘蛛爬取页面没有记录,也没有被收录内容,当蜘蛛爬取后没有任何记录这是什么情况,为什么蜘蛛爬取页面不被收录了?我找了很多也没有找到原因,网站蜘蛛无效的爬取怎么解决?如何引导
顺晟科技
2021-08-17 14:19:28
282
8.134.65.20[?] 这个ip一直爬,爬那么多?用log好显示是百度蜘蛛,但是这个应该不是百度蜘蛛吧?这软件不靠谱啊。。。。这种不是百度蜘蛛的ip要屏蔽吗?
顺晟科技:
2、这种ip没必要去专门的屏蔽,网站被模拟蜘蛛或者其他蜘蛛来访都是正常的,只要他的抓取并没有使得你网站打不开,或者不稳定,可以忽略即可。
06
2023-04
17
2023-03
08
2023-03
26
2023-02
25
2023-02
24
2023-02