每次蜘蛛过来爬取页面，但是爬取页面都是重复的的太多，为什么页面重复的太多，怎么引导蜘蛛让蜘蛛爬取页面正常，每天更新文章就是为了吸引蜘蛛，蜘蛛到底是怎么爬取页面重复的也没有用啊？

顺晟科技：

蜘蛛爬取页面的重复主要是由于网站架构的原因，例如网站结构和URL命名不规范，导致蜘蛛爬取到重复的页面。为了解决这个问题，可以通过以下几种方式来引导蜘蛛：

1、使用robots.txt文件来管理蜘蛛的爬取行为，让蜘蛛不爬取不想被搜索的网页链接；

2、在首页添加sitemap.xml文件，用以提醒蜘蛛爬取新发布的文章内容；

3、良好的网站结构，关键页面单独放在一个目录或者子域名下；

4、在服务器header信息中加上相应的标志，来提示蜘蛛搜索时应该遵循这些信息。

除了以上方法之外，还可以通过及时更新文章，丰富网站内容，增加转化率，来吸引蜘蛛的抓取，从而让网站的索引做的更好。

可以引导去抓其他页面