18910140161

蜘蛛不抓取网站 蜘蛛日志大量抓网站不存在的页面如何处理?

顺晟科技

2023-02-22 18:01:01

16

蜘蛛日志大量抓网站不存在的zip、rar等不存在的文件和路径<p><br></p><p>死链有坚持提交,已经一周多了暂时无缓解,网站的抓取降了很多,请问有什么办法解决吗<br></p>


顺晟科技:

你这个应该不是抓取,应是扫你站点的,具体看下网站日志进行分析。

相关文章
我们已经准备好了,你呢?
2024我们与您携手共赢,为您的企业形象保驾护航