18910140161

蜘蛛

首页 >> TAG >> 蜘蛛

蜘蛛爬行路径问题

有一个困惑 有个站，蜘蛛到目前还在爬行这个网站改版前的ftp目录，理所当然的，返回的都是404. 神奇的是，怎么也找不到蜘蛛是从哪里进入这些目录的，因为这些目录已经不存在了。时间大约已经有4个月，百度的反应速度让人费解 想在此请教对蜘蛛爬行路径有研究

顺晟科技

2019-08-16

167

百度蜘蛛反馈的404需要做处理么？

可以把网站日志中蜘蛛反馈过来的404过错页面写入robots.txt文件吗Disallow:掉吗 降龙( 北京网站建设 )回答： 数量多的话 不太好屏蔽，效果也不是很大，如果数量不是很多的话 可以手工屏蔽，做好过错页面跳转就可以。 最佳别这样做。是因为一个页面没有了，

顺晟科技

2019-08-16

259

我们已经准备好了，你呢？
获取网站建设报价
2024我们与您携手共赢，为您的企业形象保驾护航！