蜘蛛爬取网站内容但是不收录的原因?蜘蛛爬取页面没有收录是什么情况?
网站优化有段时间了,可是问题是蜘蛛爬取页面没有记录,也没有被收录内容,当蜘蛛爬取后没有任何记录这是什么情况,为什么蜘蛛爬取页面不被收录了?我找了很多也没有找到原因,网站蜘蛛无效的爬取怎么解决?如何引导
顺晟科技
2021-09-17 14:35:40
207
如题。
顺晟科技:
1、看你怎么规划的,如主域名和二级域名都是绑定一个站,Robots封禁整站,那么主域名和www域名都是被封禁的;2、robots封禁是在网站根目录里上传的,只要你解析的域名绑定这个网站文件里面有robots,那么都是封禁的。ps:你换个二级域名绑定的还是有robots屏蔽整站的,还是封禁,关键点是robots,而非域名
1、看你怎么规划的,如主域名和二级域名都是绑定一个站,Robots封禁整站,那么主域名和www域名都是被封禁的;
ps:你换个二级域名绑定的还是有robots屏蔽整站的,还是封禁,关键点是robots,而非域名
2、robots封禁是在网站根目录里上传的,只要你解析的域名绑定这个网站文件里面有robots,那么都是封禁的。
obots封禁是在网站根目录里上传的,只要你解析的域名绑定这个网站文件里面有Robots,那么都是封禁的
06
2023-04
17
2023-03
08
2023-03
26
2023-02
25
2023-02
24
2023-02